回答募集中Xの声から運営がまとめた質問公開
社内GPUでローカルLLMを動かしてクラウド課金を減らせますか?
X で多く見られた声を、運営が匿名でまとめた質問です(特定の投稿者の質問ではありません)
よく見られた声
ローカルLLMとサブエージェントの組み合わせでクラウド利用料を半分以下にしたという声がある一方、VRAMやメモリの要件、動かしてみたらディスク負荷が大きい、という声も見られました。
まとめると
機密を社外に出さず、クラウドLLMの利用料を抑えつつ品質を大きく落とさない推論環境を社内に用意したい。
聞きたいこと
GPUは買うべきか借りるべきか、どの規模から元が取れ業務に使えますか。