ローカルAIは低スペックPCでも動く？ LM Studioを試してみた
ローカルPCで生成AI（大規模言語モデル：LLM）を動かすことに興味があった。インターネットに情報を送信しない状態で使えるAIを探していたのが、そもそものきっかけだ。自分の仕事には、センシティブな情報を含むケースもあり、クラウド型AIではセキュリティ上、扱えない作業があるため。
手元のPCスペック：2020年購入のノーGPUマシン
使用しているPCは、2020年に購入したデスクトップ。スペックは以下の通り：
- CPU：Intel Core i7-9700
- メモリ：16GB
- GPU：なし（オンボード）
- OS：Windows10pro
いわゆる「低スペック」とまでは言えないが、GPUが無い点がLLMの運用には不利である。こんな環境でローカルAIはまともに動作するのだろうか？
LM Studioをインストール
ローカルでAIを使うには、いくつかの選択肢がある。中でもLM Studioは、GUIベースで導入も簡単そうであり、チャット画面が最初から備わっていたので初心者向けと思われた。これを試すことにした。
インストール手順（概要）
- 公式サイト（https://lmstudio.ai）からWindows版をダウンロード
- 起動後、使用するモデル（LLM）を選んでダウンロード
- チャット画面で実行可能に
インストールまではスムーズだったが、モデル選びが一番迷うポイントだった。
試したモデルと使用感
まず選んだのは、ELYZA-japanese-Llama-2-7b-instructという日本語対応モデル。数回使ってみたが、応答の品質がいまひとつ。日本語の出力精度に難があり、あまり実用的とは言えなかった。
次に、より新しいllama-3-elyza-jp-8bを導入。こちらは性能が良く、かなり自然な日本語で応答してくれた。
レスポンスと処理速度
このモデル（llama-3-elyza-jp-8b）をGPUなしで使った場合の動作は以下の通り：
- 応答が始まるまで 数分
- そこからゆっくりと文章が出力される
- ChatGPTのような即応性はないが他の作業をして待てばよく、実用性がないほどの待ち時間ではない
リソース使用状況と動作音
- メモリ使用量：約13GB（16GB中）
- CPU使用率：最大で70%超え
- ファン音：普段聞かないレベルの轟音（高負荷のためCPUファンが冷却のために高回転になる）
この挙動からもわかるように、GPUなしでも一応動くが、CPUとメモリにかなりの負荷がかかる。
結論：ぎりぎり動くが、使い方に工夫が必要
LM Studioは、GPUなしの中スペックPCでも動作可能だった。モデル選びさえ間違えなければ、雑談や文章生成には十分使える。
ただし、
- 軽量モデルを使う工夫も必要
- 他にメモリを大量に使うソフトを立ち上げない
- 長時間使用する場合には、CPUの温度に注意
といった点を意識する必要がある。
今後試してみたいこと
- より軽量な量子化モデル（Q4_KやQ5_Kなど）の比較
- Tinyモデル（TinyLLaMAなど）でのレスポンス速度の検証
- 外部アプリとのAPI連携（LM Studioはローカルサーバーとしても使える）
ローカルでAIを使う選択肢は、今後ますます重要になるはずだ。LLMの稼働には高いCPU性能とGPUが必須と思いがちだが、古いPCでもできることはある。
興味がある人は、簡単なので、ぜひ一度試してみてほしい。
コメント