社内AIサーバーの活用状況
中浦 陽平1月の弊社ブログではAI PC、Minisforum MS-S1 MAXを紹介しました。
今回は実際に活用している様子をお見せしようと思います。
片方はLLM用としてllama.cppでgpt-oss-120b Q8_K_M量子化モデルをホストしています。
40トークン/秒以上と快適な応答が得られるため、ちょっとした疑問やトラブルを手軽に相談できる環境となっています。
Open AI互換APIがあるため、Continue拡張機能をつかってVisual Studio Codeと連携する人もいます。
もう一方は実用と実験を兼ねたサーバーとして、LLMと画像生成をホストしています。
LLMとしてはアプリケーションにText Generation Web UIを、モデルにはQwen3-Coder-Next Q4_K_M量子化を選びました。
Text Generation Web UIはLLMの実行時パラメータの編集もできる多機能な環境です。
temperatureやmin_pといったパラメータを変更しながら、出力の傾向がどのように変わるか観察できます。
最大26万の長いコンテクストを処理できるQwen3-Coder-Nextはドキュメントの要約やコードの解析に活躍しています。
画像生成には定番のComfyUIを利用できるようにしました。
いまのところ業務では利用していませんが、モックアップやアイデア出しに活躍を期待しています。
ローカルLLMのメリットはデータが社外に出ないことです。
いまやLLMは必須のツールのひとつとなっていますが、業務ではクラウドLLMに送信できない情報を扱うことも多くあります。
そういった場合にも安心して使えるローカルLLMは業務改善の一つの鍵となるのではないかと思います。
Follow me!
