チュートリアル
ROCm 10でAMD GPUのローカルLLM環境は揃うのか？──R9700・Strix HaloとvLLMの対応を整理する
Zenn トレンド · 執筆：Yasuyuki Echizenya ·
要点
- 著者は昨年Radeon R9700を試した際、当時のROCmは6系しか動かなかったと振り返る
- その後ROCmは7系に対応し、10.0で近年購入できるAMD GPUのROCmが統一された模様だと記事は述べる
- 記事はROCm 10系の対応ハードウェアと配布方法の整備が続いていると整理している
なぜ重要か
AMD GPUでローカルLLM環境を構築する開発者は、ROCm 10系が自分のGPUとvLLMに対応しているかを事前に確認する必要がある。
影響を受ける人
- AMD GPUでローカルLLMを動かす開発者
- Radeon R9700やStrix Haloを使う開発者
- ROCm 10.0
- ROCm 7
- ROCm 6
- #ROCm
- #AMD GPU
- #ローカルLLM
- #vLLM
はじめに 私も昨年か検証でAMD Radeon R9700をアスクさんからお借りして試した際に 当時はROCmが古い6系しか動かず、(ノ ﾟДﾟ)ノ ＝＝＝＝ ┻━━┻ となった記憶が強いくらい AMDってね…となっていましたが、ROCmもverが上がり7系にシレっと対応していたり 10.0で近年購入できるAMD GPUのROCｍが統一された？模様なのでまとめてみようかと ROCmも10系まで進み、対応するハードウェアや配布方法の整備が続いています。 しかし、実際に環境を構築する側として知りたいのは、「新しく何ができるか」に加えて…