ローカルLLMを動かすハードウェア - きしだのHatena

LLMを動かすハードウェア、軽くまとめておきます。 SoC LLMを動かそうとしたら、まず候補にしたいのはCPU+NPU+GPUのSoCが載ったマシン。 GPUカードのようなパフォーマンスは出ないけど、現実的な値段で大きいモデルが動かせます。 Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円、と思ったら品切れ・・・ ※追記 本家に「...