リリース
DGX Spark 2台でLLM生成1.8倍速、llama.cppがNCCLに対応
要点
- ローカルLLM推論エンジン「llama.cpp v0.9.0」がggml-orgから公開された
- 内部のテンソル演算ライブラリggmlをv0.29.0に更新し、複数台のマシンでのテンソル並列推論の通信にNVIDIAのNCCLを使えるようになった
- DGX Spark 2台構成では、LLM推論速度が1台の最大約1.8倍になる
なぜ重要か
複数台のDGX Sparkでローカルの大規模モデルを動かす開発者は、llama.cppを更新するだけで推論速度の向上が見込める。
影響を受ける人
- DGX Sparkを複数台使ってローカルLLMを動かす開発者
- llama.cppを利用する開発者
取るべき対応
- llama.cppをv0.9.0以降に更新する
- 複数台構成で推論する場合はNCCLを使ったテンソル並列推論を試す
- llama.cpp v0.9.0
- ggml v0.29.0
- #llama.cpp
- #DGX Spark
- #ローカルLLM
- #NCCL
- #推論
NVIDIAのAIミニPC「DGX Spark」を2台つなぐと、LLMの推論速度が1台の最大約1.8倍になる。ggml-orgは11月4日(米国時間)、ローカルLLM推論エンジン「llama.cpp v0.9.0」を公開した。このバージョンでは、内部で使用するテンソル演算ライブラリ「ggml」をv0.29.0に更新した。これにより、複数台のマシンでテンソル並列推論を行なう際の通信に、NVIDIAの通信ライブラリ「NCCL」を使用できるようになった。
タイムライン
ggml-orgがllama.cpp v0.9.0を公開
pc.watch.impress.co.jp
DGX Spark 2台でLLM生成1.8倍速、llama.cppがNCCLに対応