回答募集中Xの声をもとにAIが作った質問公開
機密コードのレビューを社内ローカルLLMで代替できますか
X でよく見られる悩みをもとに、AI（Grok）が作った質問です。特定の人や会社の質問ではありません
前提
- 業種・規模
- 精密機器製造業・従業員約350人
- 立場・部署
- 情報システム部 インフラ担当（兼任で開発支援）
- いま使っているツール・AI
- オンプレGitLab、既存の検証用Linuxサーバ1台（GPUなし）。クラウドLLMは情シス承認案件のみ。Open WebUIの検証を個人で開始
- 扱うデータ
- 制御系のC++と社内ライブラリ約6万行。設計思想と校正値を含むため、外部送信は品質保証部から不可と言われている
- 予算・期間・社内ルール
- 今年度の検証予算はハードウェア込み120万円。検証期間は8週間。個人のOllama利用は禁止し、部門で共通エンドポイントにしたい。障害時にモデルを差し替えられることが条件
実現したいこと
機密リポジトリの差分レビューと、社内用語を含む質問応答をローカルLLMで行いたいです。開発10人が同じ社内API経由で使い、利用量をAPIキー単位で把握したいです。クラウドのコーディングエージェントと同等の「指摘の質」までは求めておらず、明らかな欠陥と規約違反を先に拾えれば十分です。
いま起きていること・困っていること
クラウドに出せないため、レビューがシニア2人に集中し、1件あたり平均2日待っています。検証サーバに7Bクラスを載せると日本語の指摘が浅く、30B以上はメモリ不足で動きません。各自がPCにモデルを入れる案は、更新差とログが残らない点で監査から却下されました。モデルを変えるたびに利用が偏るという他社事例も見聞きし、運用設計が見えていません。GPUを買う話と、まずCPUと大容量RAMで足りるかの話が混線しています。
試したこと・調べたこと
- ネットや本で調べた
- AIツールを自分で試した
- 社内で相談した
CPUのみのサーバで13B量子化モデルを試し、100行程度の差分指摘は返りますが、1応答が40〜90秒かかり実務に耐えないと感じました。公開されている社内LLM基盤の構成（推論サーバ、プロキシ、UI、利用量制御）は参考になる一方、当社の6万行規模で何GBのVRAMが要るかの試算ができません。品質保証部には「ログが社内に残るなら協議可能」と言われています。
聞きたいこと
- 機密コードのレビュー用途で、まず検証すべきモデル規模とGPUメモリの目安を教えてください。
- 各自のOllamaではなく、社内共通エンドポイントにするときの最小構成は何ですか。
- クラウドのコーディングエージェントと比べ、ローカルLLMに期待してよいレビュー品質の上限はどこですか。
補足
対象リポジトリはインターネットから隔離されたセグメントにあります。開発者の端末はWindows、サーバはUbuntuを想定しています。