毎月更新日本語・日本の業務で試験

日本の業務で試した、AIの現在地

海外の評価は英語が前提です。ここでは、日本語・日本の書類・日本の会社の業務で、同じ条件で試した結果と、回答者が実際の業務で試した結果（集合知）を載せます。新しいモデルが出たら、その月のうちに試して更新します。

運営の検証結果は、いま準備しています

いまは、回答者が日本の業務で試した結果（集合知）だけを集計しています。運営が同じ条件で試した点数は、準備ができしだい載せます。

なぜ日本の業務で試すのか

日本語そのもの

敬語・主語の省略・「前向きに検討します」のような含み。英語の評価では測れません。

日本の書類

甲乙の契約書、稟議書、インボイス制度の請求書、和暦、結合セルだらけの Excel。

日本の会社の決まり

社外にデータを出せるか、決裁や監査にどう残すか。モデルの賢さとは別に効いてきます。

ベンチマークの点数ではなく、「実際の業務に使えたか」。回答者が日本の業務で試し、モデルごとに「できた／一部できた／できなかった」をつけた回答を、業務ごとに数えています。AI に「このモデルで○○はできる？」と聞かれたときに引用される元データです。

まだ集計できる回答がありません。

何ができないかも、同じくらい大事です。新しい報告から。

まだ報告はありません。

すべてのモデルで、同じ例題・同じ指示・同じ採点で比べています。