AI活用のデータ基盤とは?4層構成・90日の構築手順・ガバナンスを実務解説

- 施策ごとにデータ収集をやり直す
- 部門ごとに「売上」「顧客数」の定義が異なる
- 参照データ・時点・権限を審査で答えられない
- 既存データへのつなぎ込みで2件目以降を立ち上げられる
- 整形層で指標の定義を統一できる
- 収集経路と権限を示して審査に説明できる
- 1〜30日:対象とデータの確定ユースケースを確定し、必要データを特定してデータオーナーと合意する
- 31〜60日:収集と権限設計収集パイプラインを構築し、生データ層への日次蓄積とアクセス権を定義する
- 61〜90日:提供とAI接続整形層・提供層を構築してAIアプリと接続し、実データで精度と根拠追跡を確認する
AI活用にデータ基盤が必要なのはなぜ?
AI活用の成否はモデルより入力データの質で決まります。データ基盤がなければ、AI活用はPoCで止まり本番運用に届きません。
生成AIの登場で「まず試す」ハードルは大きく下がりました。OpenAI、Anthropic、Microsoft、GoogleのAPIやマネージドサービスを使えば、試作は数日で動きます。ところが、試作を業務に載せる段階で必ず問われることがあります。「そのAIは、どのデータを、いつの時点で、誰の権限で参照しているのか」です。この問いに答えられない仕組みは、情報システム部門やリスク管理部門の審査を通りません。AX(AI Transformation)の全体像と進め方は、AXとは?DXとの違いと5層の構成要素で整理しています。
なぜPoC(実証)は本番運用で止まるのか?
PoCが止まる主な原因は精度不足ではありません。データの所在・鮮度・権限が本番運用の要件を満たさないことです。
PoCでは、担当者が手元に集めたCSVやスクリーンショットで検証することが少なくありません。この方法は速い反面、本番化の段階で次の3つの壁にぶつかります。
| 壁 | 起きること | データ基盤での解消策 |
|---|---|---|
| 鮮度の壁 | 手作業の抽出は更新が続かず、数週間で回答が古くなる | 収集パイプラインを日次で自動更新する |
| 権限の壁 | 閲覧範囲の異なる資料が混ざり、部門をまたぐと情報漏えいリスクになる | 権限を設計し、検索時点で対象を絞る |
| 説明の壁 | 出力の根拠になった元データを追跡できず、監査や顧客への説明に耐えない | 生データ層を残し、根拠を追跡できるようにする |
AI活用が停滞する理由を掘り下げると、「モデルの精度」より「必要なデータが社内のどこにあるか誰も断言できない」ことのほうが多い。現場ではそんな声をよく聞きます。データ基盤は、この3つの壁を個人の努力ではなく仕組みで解消するための土台です。
データ基盤が整うと何が変わるのか?
共通データを複数の用途で使い回せるようになり、2件目以降のAI施策を速く立ち上げられるようになります。
1件目のAI施策では、基盤の有無で工数はさほど変わりません。差がつくのは2件目以降です。顧客マスタ、契約データ、問い合わせ履歴といった共通データが整っていれば、次のユースケースは「つなぎ込み」だけで済みます。
基盤がなければ、施策ごとに同じデータ収集を繰り返すことになります。部門ごとに定義の違う「売上」や「顧客数」も乱立します。DX(デジタルトランスフォーメーション)で語られてきたデータ活用の課題は、AX(AIによる業務・組織・事業の変革)にもそのまま持ち越されます。
| 観点 | データ基盤なし | データ基盤あり |
|---|---|---|
| 2件目以降の立ち上げ | 施策ごとにデータ収集をやり直す | 既存データへのつなぎ込みで済む |
| 指標の定義 | 部門ごとに「売上」「顧客数」が異なる | 整形層で定義を統一できる |
| 審査への説明 | 参照データ・時点・権限を答えられない | 収集経路と権限を示せる |
AI活用のデータ基盤はどんな構成にすべき?
収集・生データ・整形・提供の4層に分けるのが実務的です。生データを残したまま、用途別に整形して提供します。
レイヤー構成はどう分けるか?
Databricksが提唱するメダリオン構成にならい、取り込んだデータを生データ・整形・提供の3段で管理します。
| 層 | 役割 | 主な中身 | AI活用での使われ方 |
|---|---|---|---|
| 収集(Ingestion) | 各システムからデータを取り込む | 基幹システム、SaaS、ログ、PDF・議事録などの非構造データ | 取り込み漏れがそのまま回答漏れになる |
| 生データ(Bronze) | 取得したままの形で保持する | 変換前のレコード、原本ファイル | 再処理と監査証跡の起点 |
| 整形(Silver) | 名寄せ・クレンジング・型の統一 | 顧客IDの統合、欠損処理、時刻の正規化 | 学習・分析の共通母体 |
| 提供(Gold) | 用途別の集計・特徴量・検索索引 | BI用マート、特徴量ストア、ベクトル索引 | RAG(検索拡張生成)やAIエージェントが直接参照する |
生データ層を残すのは、AI活用の要件が短期間で変わるからです。加工済みのデータしか持っていないと、「別の切り口で使いたい」という要望が出るたびに、元システムへ抽出を依頼し直すことになります。生データ層は、前述の「説明の壁」を越えるための監査証跡としても機能します。
構成要素の選定基準は?
既存のクラウド契約・データ量・社内スキルの3点で選びます。最初から多機能な製品を狙う必要はありません。
代表的な判断軸は次のとおりです。
| 判断軸 | 見るポイント | 実務上の目安 |
|---|---|---|
| 既存環境との整合 | Microsoft Azure/Google Cloud/AWSのどれを主契約にしているか | 主契約と同じ系列に寄せると、認証とネットワークの設計が簡単になる |
| データ量と更新頻度 | 日次バッチで足りるか、準リアルタイムが必要か | 社内業務の大半は日次で成り立つ |
| 非構造データの比率 | 議事録・契約書・マニュアルをどう扱うか | 生成AI用途では、文書の格納と検索の設計が勝負どころになる |
| 運用体制 | 専任のデータエンジニアがいるか | 1〜2名体制ならマネージドサービスを優先する |
| コスト構造 | ストレージ課金かクエリ課金か | 探索的な分析が多いと、クエリ課金が膨らみやすい |
準リアルタイム処理は魅力的に見えますが、運用負荷は日次バッチとは比べものになりません。「分単位の鮮度が本当に業務価値を生むのか」を、要件定義の段階で一度問い直す価値があります。
データ基盤の構築はどんな手順で進める?
対象ユースケースを1つに絞り、必要なデータだけを収集から提供まで一通り動かすのが、最も確実な順序です。
最初の90日で何をするか?
全社データの棚卸しからは始めません。1つの業務のデータを、90日で提供層まで通し切ることを優先します。
| 期間 | 主な作業 | 完了の目安 |
|---|---|---|
| 1〜30日 | 対象ユースケースの確定、必要データの特定、データオーナーとの合意 | 参照するテーブル・文書の一覧が確定している |
| 31〜60日 | 収集パイプラインの構築、生データ層への蓄積、権限設計 | 日次で自動更新され、アクセス権が定義されている |
| 61〜90日 | 整形層・提供層の構築、AIアプリとの接続、精度評価 | 実際の業務データでAIが回答し、根拠を追跡できる |
この期間は一般的な目安です。対象データの散らばり具合や、社内の承認プロセスによって変わります。特に「データオーナーとの合意」は、技術作業より時間がかかることの多い工程です。ここを軽く見積もった計画は、高い確率で遅れます。
段階的な拡張はどう設計するか?
2件目以降は、既存の整形層を再利用できるユースケースから広げます。そうするとデータ基盤の投資効率が上がります。
拡張の順序は、次の4つの基準で並べると判断しやすくなります。
- 既存データの再利用率:新たなデータ取り込みが要らないものを先にする
- 業務インパクト:件数が多く、担当者の作業時間が長い業務を優先する
- リスクの低さ:個人情報や機微情報の比率が低いものから着手する
- 効果測定のしやすさ:処理時間や問い合わせ件数など、既存の指標で測れるものを選ぶ
部門ごとにデータの責任を持たせる、データメッシュ(2019年に提唱)という考え方もあります。魅力的ですが、各部門にデータ品質を担保できる人材を置けて初めて機能します。まず中央で集中的に整備し、成熟度に応じて部門へ分散させる順序が現実的です。
| 進め方 | 向いている段階 | 前提条件 |
|---|---|---|
| 中央集中型 | 立ち上げ期(1件目〜数件目) | 中央に整備担当を置ける |
| データメッシュ(部門分散型) | 成熟期 | 各部門にデータ品質を担保できる人材がいる |
生成AIやAIエージェントに向けたデータ整備で押さえる点は?
構造化データの整備に加え、社内文書の粒度・鮮度・権限を揃えられるかどうかが、RAGの検索精度を左右します。
RAG向けのドキュメント整備で何が必要か?
文書を意味のまとまりで分割し、更新日・所管部門・公開範囲をメタデータとして付けることが前提になります。
RAG(Retrieval-Augmented Generation:検索拡張生成)で回答が外れる原因は、ほとんどがLLM(大規模言語モデル)ではなく、検索対象の文書側にあります。実務で効く整備項目は次のとおりです。
| 整備項目 | よくある問題 | 対応 |
|---|---|---|
| 重複と旧版の排除 | 同じ規程の第2版と第5版が混ざり、古いほうが引かれる | 最新版だけを検索対象にする |
| 分割単位の設計 | ページ単位で機械的に分割すると文脈が切れやすい | 条文や見出しの単位で区切る |
| メタデータの付与 | どの文書が有効かを判断できない | 改定日、所管部門、対象組織、公開範囲を必須項目にする |
| 表・図の扱い | PDF内の表は崩れやすい | 構造化データ側で別に保持する |
| 権限の反映 | 回答を生成した後にフィルタしても遅い | 検索の時点で、ユーザーの権限に応じて対象を絞る |
「AIの回答精度が低い」という報告を受けて元の文書を確認すると、人間が読んでも判断できない書き方だった、ということは珍しくありません。文書整備は生成AIへの対応であると同時に、業務の標準化そのものでもあります。
AIエージェントに必要なデータとは?
AIエージェントには、参照データに加えて、実行できる操作の定義と、行動履歴を残す実行ログの設計が欠かせません。
AIエージェントは検索するだけでなく、システムを操作します。そのため、必要なデータの性質もRAGのような検索用途とは異なります。
| 種類 | 内容 | 用途 |
|---|---|---|
| 参照データ | マスタ、履歴、社内規程 | 判断の根拠 |
| ツール定義 | 呼び出せるAPI・権限・引数の仕様 | 実行できる範囲を明示する |
| 業務ルール | 承認の閾値、例外条件、エスカレーション基準 | 自律判断の境界を決める |
| 実行ログ | 入力・判断・実行結果・所要時間 | 監査と改善の材料 |
なかでも、実行ログは後から付け足すのが難しい要素です。AIエージェントを導入する時点で「何を、どの粒度で残すか」を決めておかないと、インシデントが起きたときに経緯を再現できません。
データ基盤のガバナンスとコストはどう管理する?
権限・品質・利用記録の3点を最小限の形で定めます。コストは提供層の設計と保持期間の管理で抑えます。
ガバナンスで最低限やることは?
出発点は、データオーナーの明確化、機微情報の分類、AIによる利用記録の保存の3つです。ここから始めます。
関連する主なルールは次のとおりです。いずれも、AIが扱うデータの管理体制があることを前提にしています。
| 名称 | 発行・発効 | 位置づけ |
|---|---|---|
| AI事業者ガイドライン(第1.0版) | 2024年4月公表(経済産業省・総務省) | 国内事業者に求められる取り組みを整理したもの |
| NIST AI Risk Management Framework 1.0 | 2023年1月公開 | AIリスク管理の国際的な枠組み |
| ISO/IEC 42001 | 2023年12月発行 | AIマネジメントシステムの認証規格 |
| EU AI法(EU AI Act) | 2024年8月1日発効 | EUのAI規制法 |
現実的な着手の順番は次のとおりです。
- データの分類基準を決める(まずは公開可/社内限定/機微情報の3段階)
- データセットごとにオーナー部門を割り当てる
- AIアプリからのアクセスをログに残す(利用者、参照範囲、時刻)
- 個人情報を含むデータをAIに使えるか、個人情報保護法上の利用目的の範囲に照らして確認する
- 定期的な棚卸しの周期を決める(半期ごとなど)
最初から精緻な体制を作ろうとすると、承認プロセスが重くなり、AI活用そのものが止まります。現場で機能しやすいのは、「止める仕組み」ではなく「追跡できる仕組み」から入るやり方だという印象があります。
コストはどう抑えるか?
効くのは、保持期間の設定、提供層での事前集計、生成AIモデルへの入力量の削減の3点です。
データ基盤のコストは、主にストレージ、計算処理、AIモデルの呼び出し、運用工数の4つに分かれます。
| コスト要素 | 増える主な原因 | 抑える方法 |
|---|---|---|
| ストレージ | 生データを期限なく保持している | 階層化(頻繁アクセス/低頻度/アーカイブ)と保持期間の明文化 |
| 計算処理 | 毎回の全件スキャン | 提供層での事前集計、パーティション設計 |
| モデル呼び出し | 長大なコンテキストを投入している | 検索対象の絞り込み、キャッシュの活用、用途に応じたモデルの使い分け |
| 運用工数 | 個別対応のパイプラインが乱立している | 共通処理のテンプレート化 |
見落とされやすいのが運用工数です。ユースケースごとに独自のデータ処理を作っていくと、1年後には誰も全体像を把握できなくなります。データ基盤の投資対効果は、1つの施策でのコスト削減額では測りません。施策1件あたりの立ち上げ工数がどれだけ下がったかで評価するほうが、実態に近くなります。
ここまでの内容は一般的な設計指針です。実際の構成は、自社のシステム環境・データ量・規制要件に合わせて調整してください。導入を判断するなら、まず対象業務のデータがどこにあるかの調査から始めることをおすすめします。





