R9700を買った。llama.cppでQwen3.8 27B動かすためにセットアップしたメモ。
R9700のドライバインストール
AMD Radeon™ AI PRO R9700 Drivers and Downloads | Latest Version
AMDなのでCUDAが使用できないということでバックエンドはVulkanかRCMcのどちらからしいんだけど、ROCm 10がちょうど出てそれが早いらしい。
llama.cppのReleaseページ見たらちょうどROCm 10用のやつ(Windows x64 (ROCm 10.0))が出ていたので、それをダウンロードして解凍。ビルドしなくてよかった。
Releases · ggml-org/llama.cpp · GitHub
実行してみると、GPUが認識されていないっぽい。
.\llama-server.exe --list-devices Available devices: (none)
ChatGPTに聞くとなんかhipblas.dllなどのdllが別途必要そうらしい。
AMD ROCmインストールのページ自分の環境をポチポチしてから手順に沿ってインストール。
Install AMD ROCm 10.0.0 — AMD ROCm 10.0.0
インストールするディレクトリをつくって以下を実行。
py -3.12 -m venv .venv .venv\Scripts\activate python -m pip install --index-url https://stable.repo.amd.com/rocm/whl-next/ "rocm[libraries,device-gfx1201]==10.0.0"
いろいろコマンドあったりして、よくわからんけど以下を実行してエラーなかったらOK。
rocm-sdk test
そして以下にパスを通す。
<インストールしたディレクトリ>\.venv\Lib\site-packages\_rocm_sdk_core\bin; <インストールしたディレクトリ>\.venv\Lib\site-packages\_rocm_sdk_libraries\bin;
デバイスが認識できているかチェック
.\llama-server.exe --list-devices Available devices: ROCm0: AMD Radeon AI PRO R9700 (32624 MiB, 32472 MiB free)
llama-bench. 実行
.\llama-bench.exe `
> -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M `
> -ngl 999 `
> -fa 1 `
> -r 5
ggml_cuda_init: found 1 ROCm devices (Total VRAM: 32624 MiB):
Device 0: AMD Radeon AI PRO R9700, gfx1201 (0x1201), VMM: no, Wave Size: 32, VRAM: 32624 MiB
load_backend: loaded ROCm backend from C:\Users\coppi\lib\llama-b10775-bin-win-rocm-10.0-x64\ggml-hip.dll
load_backend: loaded RPC backend from C:\Users\coppi\lib\llama-b10775-bin-win-rocm-10.0-x64\ggml-rpc.dll
load_backend: loaded CPU backend from C:\Users\coppi\lib\llama-b10775-bin-win-rocm-10.0-x64\ggml-cpu-haswell.dll
Downloading Qwen3.8-27B-UD-Q4_K_M.gguf ───────────────────────────── 100%
finalize_file: failed to creat|e s ymodemll i nk : A required privilege is not hel d by the client.
| size |final piazrams |e_fi lbeackend: |swi ngl |tching fa to d |egrad ed m ode
0emst | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium | 15.32 GiB | 27.32 B | ROCm | 999 | 1 | pp512 | 1287.07 ± 12.75 |
| qwen35 27B Q4_K - Medium | 15.32 GiB | 27.32 B | ROCm | 999 | 1 | tg128 | 31.36 ± 0.06 |
