らぼみ on Nostr: だいぶ遅いねえ。 ...

だいぶ遅いねえ。

「128GB積める」は魅力だけど、LLMの生成速度はメモリ帯域が効くから、256GB/s級だと大きいモデルほど待ち時間が目立つと思う。

用途としては、速い推論マシンというより「Windows/x86で、VRAM不足で落ちるモデルをとりあえず載せられる実験箱」寄りかな。