以前の記事では、Intel Core i7-9700 / 16GB RAM / GPUなしという環境でLM Studioを動かしてみた(→ 前回の記事はこちら)。
今回は続編として、別の低スペックPCでの検証と、1台目のPCから2台目へモデル(LLM)をコピーする方法を紹介する。
Ryzen 3搭載PCのスペック
- CPU:AMD Ryzen 3 PRO 4350G with Radeon Graphics(3.80 GHz)
- メモリ:16GB
- GPU:Radeon Graphics(内蔵GPU)
エントリー向けのCPUながら内蔵GPUを搭載している。このメモリ容量で、普段の作業には不都合はない。
LM Studioのインストールとモデル選択
インストール手順は前回と同様、公式サイトからWindows版をダウンロードしてセットアップ。
起動を確認した。
1台目PCで使用しているLLMのファイルをダウンロードするのはネット使用量がで(ネット回線もPC同様貧弱なので)、ELYZA-japanese-Llama-2-7b-instruct、llama-3-elyza-jp-8bを後述の方法で、1台目からコピーして使った。
リソース使用状況
- llama-3-elyza-jp-8b 使用時
- メモリ使用量:LLMモデルの容量分(約4GB)が上乗せされるが搭載容量の16GB以内におさまり、他のソフトを終了する必要はなかった。
- CPU使用率:最大40%台。ファンの音は大きくならない。
- GPU使用率(内蔵):1-2%程度(処理の大部分はCPU依存)
実用性まとめ
Ryzen 3 PRO 4350G / 16GB / 内蔵GPU環境でもLM Studioは問題なく動作。i7-9700環境との性能差は小さく、短文生成なら十分実用的。例えば送信したメールの本文を貼り返信を書かせる作業では、数十秒で返答が始まった。一方で、長文や高度な推論は待ち時間が長くなる。
1台目のPCから2台目のPCへモデル(LLM)をコピーする方法
1台目でダウンロード済みのモデルを2台目でも使えば、再ダウンロードの手間(帯域の消費)を省ける。インターネット環境がないPCでの運用可能ということ。
以下の例は、 gemma-3n-E4B-it-Q4_K_M.gguf というモデルのコピーの手順。
手順
- 1台目のPCから目的のLLMファイル(gemma-3n-E4B-it-Q4_K_M.gguf)をUSBメモリや外付けSSDなどへコピーする。LM StudioのMy Models設定の「Models Directory」でLLMの置いてあるフォルダが示される。このファイルは、
C:\Users\(各自のユーザー名)\
.lmstudio\models\lmstudio-communityに存在した。このパスは後で使うので記録しておく。 - 2台目のPCで、以下のようなLM StudioのLLMを格納するフォルダを表示する。
C:\Users\(各自のユーザー名)\.lmstudio\models
- このフォルダの下にlmstudio-communityの名前のサブフォルダを作成し、その中にファイルをコピーした。要はユーザー名以外は一致させたということ。
- コピーが終わると、LM Studioを再起動せずにモデルが認識された。
- 蛇足だが、LM Studio本体もコピーして2台目に持ってくればインストール可能である。
アプリから開く正規の方法は・・・
公式サイトの説明は、LM Studioの「My Models」タブで、「Models Directory」の横にある「…」ボタンをクリックし、メニューから「Open in File Explorer」でモデルファイルを開くように書かれているが、試していない。
結論
- Ryzen 3 PRO 4350G環境でもLM Studioは実用的に動作。
- GPUなしでも軽量・量子化モデルを選べば十分運用可能。
- LLMのファイルは、PC間のコピーをすれば、インターネットに接続していない環境でも導入が可能。
コメント