回答募集中Xの声をもとにAIが作った質問公開
社内FAQのRAGが一般論しか返さない。精度の測り方と改善順は？
X でよく見られる悩みをもとに、AI（Grok）が作った質問です。特定の人や会社の質問ではありません
前提
- 業種・規模
- 食品メーカー・従業員約300人
- 立場・部署
- 情報システム部の社内ヘルプデスク担当（メンバー4人）
- いま使っているツール・AI
- Microsoft 365、社内ポータルのFAQ約140件、CopilotとChatGPTを試験、簡易RAGを社内PDFで試作
- 扱うデータ
- 社内問い合わせは月約280件。パスワード・権限・勤怠・経費が中心。FAQで自己解決できているのは約3割。試作の評価用に実際の質問20件を用意した
- 予算・期間・社内ルール
- 追加開発の外注は見送り、既存ツールで3週間検証。機密情報は入れない。経営には「正答率」の数字を求められている
実現したいこと
社員が社内の言い方で質問しても、就業規則や申請手順に沿った一次回答と、申請システムの次アクションを返したいです。月280件のうち、少なくとも100件は自己解決に回したいです。分からないときは一般的な法律の説明で埋めず、担当へ回してほしいです。
いま起きていること・困っていること
「有休は繰り越せるか」と聞くと、労働基準法の一般論だけが返り、自社の申請システム名も条文番号も出ません。20件で見ると、社内資料どおりが12件、一般論が5件、明らかな誤りが3件でした。資料にあるのに「見つかりませんでした」と答えた質問が2件あり、そのログを別の検証で使うと「資料は存在しない」とまで書かれました。一度うまく答えた質問を、資料を足したあとに再実行すると、別の質問が壊れました。正答率の定義（文章が自然か、根拠ファイルが正しいか、次アクションまで合っているか）が社内で揃っていません。
試したこと・調べたこと
- AIツールを自分で試した
- ネットや本で調べた
- 社内で相談した
プロンプトで「人事労務担当として、社内規程だけを根拠に答える」とロールを固定したら、次アクションまで書く回答が20件中12件から16件に増えました。一方、規程に無い例外質問まで断定する副作用が出ました。FAQ本文と申請画面のスクリーンショットPDFを混ぜると、図表の数字を読み違えます。ヘルプデスク内では「まず評価セットを固定しよう」という話までは合意しています。
聞きたいこと
- 社内FAQのRAGで、経営報告に使える正答率は、何を分子・分母にすべきですか。
- 一般論で埋めない、資料が無いときは無いと返す、のための評価用質問は、何種類に分けて何問程度用意すべきですか。
- ロール指定、検索の取り方、文書の分割のうち、浅い回答に対して先に手を付けるべきなのはどれですか。
補足
質問は口語が多く、「あの申請、前の画面からできない」のような、資料見出しと一致しない聞き方です。