大企業AI展開の壁

「業務の切り出し」と責任の線引きが最初の壁

AIの価値は“どの業務をどこまで自動化するか”でほぼ決まります。最初のつまずきは、対象業務の粒度が粗いことと、誰が何を承認するのかが曖昧なことです。営業メール自動作成のようなアウトプット直結型は、ヒトの確認ポイントを明確にしやすい一方、社内ナレッジ検索や回答支援は、情報鮮度や根拠提示を運用に織り込まないと破綻します。

意思決定を前に進めるには、RACIに落ちるレベルで責任分解をします。例えば「プロンプト雛形の改定は業務オーナーが承認」「ナレッジの更新は各部門の情報管理者が週次レビュー」「AI応答の最終承認は担当者」が線引きです。さらに部署横断の「例外対応ボード」を1つ作り、逸脱例（クレーム文書、要機密）に即日で裁定を出せるようにします。

RAGかファインチューニングか、費用対効果で決める

社内文書の活用が主ならRAG（検索拡張）を第一候補にし、頻繁に更新されるFAQや規程はインデクスを日次更新。文体統一や社内用語の徹底が目的で、データが数万件未満なら軽量ファインチューニングを検討。それ以外はFew-shot＋ルールベースの前処理で十分なことが多いです。判断基準は「1件あたり解決コスト」と「根拠提示率」。

ヒトの確認ポイントを線で描く

自動化の線引きはプロンプトではなくフローで管理します。入力（顧客名・金額）にPIIが含まれるか、出力に根拠URLが添付されているか、閾値（自信度、スコア）が低い場合は人へ回す、をワークフローエンジンに実装します。評価指標は、一次回答率、幻覚率、平均処理時間、やり直し率を最低限。

セキュリティとガバナンスを“実装”する

規程を作るだけでは止まりません。実装のコアは「誰が・どのデータで・どのモデルを・いくら使ったか」を追跡できることです。SSOとSCIMでアカウントを自動連携、プロジェクト単位でデータアクセスを分離、KMSで鍵管理。プロンプトと出力は監査ログに保存し、PIIは投入前に赤線（トークン化やパターンマスク）します。

社外接続は許可済みモデルのみ（例：ChatGPT、Claude、Gemini、Copilot）をカタログ化し、目的外利用を遮断。データはリージョン固定と持ち込み暗号鍵で統制します。根拠なし回答を抑えるには、RAGでセクション引用を必須にし、引用が取れない場合は意図的に「わからない」を返す設計が有効です。高リスク文書（契約・価格）は人手承認を必須にします。

• 最小権限のAPIキー管理（環境ごとに発行、ローテーション自動化）
• プロンプトのバージョン管理とロールバック
• トークン使用量のリアルタイム警告（部署・個人別）

モデル選定とコストの現場解

「最強モデル一択」は大企業の敵です。ユースケースごとに標準モデルを決め、例外申請を必要とする設計にします。例えば、汎用対話はChatGPTかClaude、長文要約や表形式の抽出はGemini、コード支援はCopilotといった棲み分けを事前に定義。画像や音声は後回しでも、文字業務でROIは先に出せます。

予算ガードレールとキャッシュ

予算は「月次上限（組織・ユーザ）」「1要求あたりの最大トークン」「高価モデルの呼び出し頻度」の三層で制御。RAGの埋め込みはキャッシュし、同一クエリは再利用。バッチ処理は夜間の安価枠に回し、プロンプトは短文化（構造化入力）でトークンを削減します。モデルのA/Bテストは、業務ログから作った100件の代表ケースで「解決単価」と「訂正率」を比較。仕入れ単価より解決単価で見ると、意外に安いモデルの方が高くつくことがわかります。

身近な企業活用例：消費財メーカーのサポートBot再起動

情シス主導で社内向け問合せBotを試験導入しましたが、各部署で個別にChatGPTやClaudeを使い始め、利用履歴が分断。FAQはPDFのまま、RAGはヒットしても引用位置がズレ、回答の根拠が示せず現場が不信感。コストは月間500万円超に膨張し、機密断片の持ち出し懸念で一時停止となりました。

再起動では次の順番に立て直しました。まず、問い合わせの60%を占める経費精算・購買を対象業務に限定。ConfluenceとSharePointの原本を整備し、段落IDを付与、無効文書はアーカイブ。取り込み時にPIIを自動マスキングし、RAGは段落引用が取れないときは「担当窓口のリンクを返す」設計に変更。モデルは要約に強い標準モデルとし、例外的な長文のみ高性能モデルを許可。Copilotは開発部門に限定し、業務Botとはネットワークを分離しました。

評価は100件の代表ケースで本番前にA/Bテスト。KPIを一次回答率80%→95%、幻覚率5%→1%未満、1件あたりコスト120円→65円に設定。導入後3カ月で、平均処理時間は3.2分短縮、現場アンケートの信頼度は2.3→4.1（5段階）。総コストは37%削減しつつ、問い合わせの36%を自己解決に誘導できました。最大の改善は「根拠リンク必須」と「人の承認ゲート」をワークフローに組み込んだことでした。結果的にツールの乱立も止まり、Geminiは長文取扱い、ChatGPTは汎用、Claudeは企画書草案、という社内標準が定着しました。

大企業にとっての“壁”は、技術そのものよりも、対象業務の切り出し、ガバナンスの実装、モデルとコストの標準化にあります。これらを横断で支える土台として、接続先やモデル選択、権限、ログ、評価、配賦までを一元で回せる生成AIプラットフォームが有効です。プロンプトやRAGのバージョニング、モデル切替のA/B、コストと品質のダッシュボードが一つにまとまっていると、現場は“安心して使えるAI”を日常業務に編み込めます。生成AIプラットフォーム事業は、その土台を企業のオペレーション解像度で提供する役回りだと思います。