データ基盤移行の進め方
移行の目的を数値で定義し、成功条件を先に決める
成功指標を決める
移行は「速くなるはず」「安くなるはず」では動きません。先に数値化します。例として、主要ダッシュボードの中央値クエリ時間を60秒以内、新規データ到着遅延を15分以内、重要KPI（売上・在庫・アクティブユーザー）の差分を±0.5％以内、データ品質アラートの週当たり発生数を1件以下、運用工数を月40時間削減、月額コストを20％削減などです。Non-Goal（例：全社のモデリング刷新は対象外）も明記し、後出しの期待値を防ぎます。
体制と責任分担
役割をRACIで固定します。プロダクトオーナー（事業側KPI責任）、データアーキテクト（方針・設計）、データSRE（信頼性・コスト）、アナリスト代表（利用体験）、セキュリティ（PIIと監査）。意思決定は2週間ごとに決裁し、Decision Logに残します。マイルストーンは「棚卸し2週→PoC4週→Wave移行6〜8週×N」を基準に、フェーズごとにExit基準（上記SLOの一部達成）を設定します。
現行調査とターゲット設計：どこからどこへを明文化する
棚卸しと依存解析
テーブル、ビュー、ETL/ELTジョブ、BIレポート、外部連携を網羅的に一覧化します。各資産に「サイズ・更新頻度・所有者・PII有無・ビジネス重要度・技術負債度」をタグ付けし、依存DAGを描きます。数値型の精度、タイムゾーン、NULLの意味、カーディナリティ、主キー有無など互換性リスクも洗い出します。
ターゲットの基本原則
ストレージと計算を疎結合にし、Raw/Staging/Martの三層を明確化します。命名規約、パーティション/クラスターの軸、時間の基準（UTC統一）、スキーマ進化ルール（後方互換優先）を文書化します。データ契約を定義し、各データプロダクトの入出力、SLO、破壊的変更の通知期日を合意します。観測性はメトリクス（遅延・更新数）、ログ、データ品質チェック（主キー一意、参照整合、件数逸脱、欠損率、ビジネスKPI差分）を標準装備にします。
AIを使った移行効率化
SQL方言の変換やドキュメント初稿作成にChatGPTやClaude、Geminiを活用すると初速が上がります。ジョブ定義やDAGのPython移植にはCopilotが有効です。ただし自動変換の結果は必ずテストで裏取りし、外部秘匿情報はプロンプトに含めないポリシーを徹底します。
実行計画：段階移行、テスト、切り替えとロールバック
移行ストラテジーの切り分け
- Lift-and-Shift：そのまま載せ替え。まずはRaw/一部Stagingで採用し、早期に可観測化。
- Replatform：同等機能に置換しつつ、スケジューラやI/Oを刷新。
- Refactor：集計ロジックを再設計。Martや高頻度ジョブに限定して段階的に。
テーブルごとに方式を決め、ビジネス重要度×技術負債で優先度を付けます。最初のWaveは「価値が高く、変更範囲が狭い」対象に絞ります。
データ移送と検証
バックフィルは「過去13カ月＋年初来」を基準に、粒度と保持要件に応じて調整。Dual-Runで旧新を並走させ、サンプル（全量が理想、難しければ日次スライス）で検証します。検証は三段構えです。1）構造（列名・型・NULL許容）2）統計（件数・合計・平均・分位点・分布差分）3）ビジネスKPI（売上・在庫回転など）。閾値は±0.5％、イベント系は±0.1ppなど、KPIごとに事前合意します。代表ダッシュボードの読込時間、同時実行数、コスト見積もSLO化し、ガードレール（クエリタイムアウト、スロット上限）を設定します。
切り替えとリスク制御
接続先は機能フラグで段階的に切り替え、影響範囲を限定します。リハーサルとして本番相当データで「切替→監視→ロールバック」を一度実演し、復旧時間目標（例：30分）を実測します。権限は最小権限でロールベース管理し、行・列マスキングを適用。PIIはトークナイズまたは疑似化し、監査ログと保持期間（削除ジョブ含む）をルール化します。コストはタグで配賦し、部署別の上限アラートを有効化します。
身近な企業活用例：中堅ECのつまずきと立て直し
オンプレPostgreSQLと自家製バッチでデータ集約、BIは日次。販促の即時最適化ができず、在庫過多が慢性化していました。移行初回は一括切替を選び、イベントテーブルのタイムゾーンと集計関数の非互換を見落としてKPIが3％ズレ、広告配信を2日停止する事態に。PIIマスキングも遅れて監査指摘を受けました。
再計画では、重要KPIの許容差分を±0.5％に設定し、Dual-Runで4週間の並走を実施。バックフィルは13カ月、ユースケース単位のWave移行に変更。マーケ/CSとデータ契約を結び、スキーマ変更は2週間前通知に。SQL方言変換はChatGPTでドラフトを作成し、Geminiでテストケースとドキュメント雛形を生成、最終検証を人手で実施。バッチの移植はCopilot補助でAirflow DAGへ整理。結果、主要ダッシュボードの中央値クエリ時間は5分→50秒、在庫モデルの再学習は週次→日次に短縮、データ障害時のロールバックは30分で完了できる体制に。月額コストは重複計算の削減で約20％抑制できました。
移行は技術イベントではなく、分析と意思決定の「レイテンシ」を下げる事業投資です。SLO、データ契約、並走検証、ガードレールという地味な作法を積み上げることで、移行後の改善サイクル（新規データプロダクトの追加や機械学習のオンライン化）が安全に回り始めます。データ解析プラットフォーム事業は、この安全な土台の上でこそ価値を増幅できます。移行の設計図を実装し続けることが、分析者とプロダクトの速度を長期で底上げします。
