回答募集中Xの声をもとにAIが作った質問公開
社内推論GPUは購入とレンタルのどちらが3年で安くなりますか
X でよく見られる悩みをもとに、AI（Grok）が作った質問です。特定の人や会社の質問ではありません
前提
- 業種・規模
- 製造業・従業員約300人
- 立場・部署
- 情報システム部 インフラ課長
- いま使っているツール・AI
- 基幹はオンプレVM。生成AIはChatGPT Teamを全社120アカウント。コーディングエージェントは未導入。検証用にクラウドGPUを月40時間だけ利用中
- 扱うデータ
- 社内文書の要約と、ソースを出さない範囲の設計Q&Aが中心。同時利用者は昼間で最大8人、1応答あたり2,000〜8,000トークンを想定
- 予算・期間・社内ルール
- 初期投資の決裁上限は税抜250万円。電気代と空調は既存サーバ室の余力で月3万円まで。3年でクラウドAPIより高くなるなら採用しない方針。設置から本番まで最長4ヶ月
実現したいこと
社外に出せない文書と設計情報を扱う推論を社内に置きたいです。3年総所有コストで、GPU購入・クラウドGPUレンタル・今のAPI継続の3案を比較したいです。将来コーディングエージェント用にモデルを載せ替えても、同じ箱で回せる余裕があるかを見たいです。
いま起きていること・困っていること
営業から「Mac Studioクラスを1台買えば足りる」という話と、開発から「推論用GPUを2枚は必要」という話が同時に来て、スペックが決まりません。クラウドGPUは時間単価は安く見えますが、8人が昼間使うと月20万円を超えそうです。購入案は減価償却と故障時の代替機、電気代を誰が持つかで経理と稟議が止まっています。ローカル運用では再起動後にGPUロックが残る、といった障害事例も見聞きし、運用工数が読めていません。
試したこと・調べたこと
- ネットや本で調べた
- 社内で相談した
- ベンダー・外注先に相談した
2社のSIerに見積を取り、ワークステーション1台が約90〜180万円、2GPUサーバが約280万円でした。クラウドGPUは検証で40時間使い、32Bクラスで実用速度は出ましたが、月200時間に伸ばすと年240万円超の試算です。経理には3年の減価償却前提で相談済みで、250万円超は取締役会案件になります。
聞きたいこと
- 昼間8人・文書と設計Q&A中心の用途で、購入とレンタルを3年TCOで比較するときの費目漏れを教えてください。
- 将来コーディング用途に伸ばすなら、最初から載せるべきGPUメモリの目安はどれくらいですか。
- 少人数オンプレ運用で見ておくべき障害（再起動、プロセス残留、モデル差し替え）は何ですか。
補足
サーバ室の電源は200Vが1系統空いています。専任のMLエンジニアはおらず、運用はインフラ2人で兼務します。