運用自動化事例と成果
監視運用の自動化ポイントと投資判断
自動化は「何でもかんでも」では回りません。対象の見極めは、(1)頻度が高い、(2)判断が定型、(3)巻き戻しが容易、(4)影響範囲が限定的、の4条件を満たすかで決めます。とくにサーバ監視では、アラートの取捨選択と一次対応が投資対効果の中心です。投資判断は、削減時間×担当者コスト−失敗時の最大損失で見積もるとブレません。SLOとエラーバジェットに結び付け、「消費が急増したら自動化レベルを下げる」などの運用ルールもセットにします。
定量目標は具体に置きます。例として、MTTAを15分→5分、夜間の起票数を週35件→15件、誤検知率を30％→10％、自動クローズ比率を0％→40％。この4つを60〜90日で追うと、意思決定の材料が十分に揃います。
フロー別の自動化事例：検知→判別→一次対応→エスカレーション
検知の最適化
メトリクスとログのしきい値を固定値だけでなく変動閾値にし、デプロイやメンテの予定をイベントとして取り込み、該当時間は自動サプレッションします。ホスト障害と上位ネットワーク障害の重複通知は相関ルールで1件にまとめます。ヘルスチェックはブラックボックス（ユーザ視点）を1本必ず入れ、ユーザ影響がない限りはページングしない方針に切り替えると、呼び出しが激減します。
判別（トリアージ）の自動化
アラートにコンテキスト（直近デプロイ、変更チケット、関連メトリクス）を自動添付し、重大度を機械判定します。テキスト要約は大規模言語モデルの得意領域です。ChatGPTやClaude、Geminiに「過去類似インシデントとの一致度」「再現手順」「影響範囲」を要約させ、実行コマンドは提案のみ（即実行は不可）に制限します。これで、人が読む量を1/3にしつつ、見落としを抑えられます。
一次対応（セルフヒーリング）
再起動、キャッシュクリア、ディスク掃除、ワーカープロセス増減など、リスクの低い操作をランブック化して自動化します。ガードレールは3点が基本です。
- 読み取り系ヘルスチェックで事前確認（閾値超過が続く場合のみ実行）
- 指数バックオフ＋最大3回までの再試行
- 影響確認（SLIの悪化継続）でのみ二段階目を実施、失敗で即ロールバック
コード化には小さな関数単位で書き、Copilotで雛形を素早く作ると運用チームでも保守しやすいです。承認はChatOpsに組み込み、「自動実行→結果をスレッド投稿→人のワンクリック承認で二手目」までに留めると安全です。
エスカレーションの合理化
ユーザ影響の有無で経路を分け、影響ありは即SRE当番へ、影響なしは平日日中のバッチ処理へ回します。チケットは自動起票し、テンプレには「再発防止タスク」「デプロイ関連性」「検出から通知までの遅延」を必須項目にします。ポストモーテムはLLMに初稿を書かせ、人が事実確認だけに集中すると早く正確にまとまります。
身近な企業活用例：ECプロセスのやり直し
深夜の在庫同期が重く、CPU高騰やキュー滞留のアラートで週40件の呼び出しが発生。最初は「全部自動再起動」を入れましたが、ピーク時に再起動が連鎖し、むしろMTTRが悪化（45分→90分）。原因は、変更イベントを無視した固定しきい値と、ユーザ影響の有無を見ない一律対応でした。
やり直しでは、(1)デプロイとセール開始時刻を監視に連携し、該当期間はサプレッション、(2)アラートに直近10分のメトリクスとデプロイ差分を自動添付、(3)一次対応は「キューの消化遅延のみスケールアウト→5分後に評価→戻す」をランブック化、(4)ログ要約と過去事例の照合をClaudeに、事象の分類をGeminiに、ランブック文面の整備をChatGPTに、それぞれ役割分担。Lambdaの小さなハンドラはCopilotで雛形を作り、レビューを徹底しました。
結果は明確でした。MTTAは18分→5分、MTTRは90分→35分、夜間のページングは週40件→16件（−60％）、誤検知は−72％。売上影響のあるカート系障害は、ユーザ影響の有無で最優先エスカレーションされ、セール中の落ち込みを0.6％から0.1％に抑制。自動化は「広く浅く」ではなく「安全な範囲を深く」が効いた好例です。
成果の測定とリスク管理、導入ロードマップ
モニタリングのKPIは以下が回しやすいです。
- MTTA/MTTR、アラート総数、重複率、自動クローズ比率
- 夜間ページング数、再発率、SLOバーンレート
- 「自動化が原因のインシデント」件数（ゼロでなければ原因分析）
リスク管理は段階導入が肝心です。まず2週間のシャドーモードで「提案のみ」、次に営業時間内だけ自動実行、問題なければ夜間解禁。二名承認や変更凍結期間の自動検出、監査ログの長期保存もセットにします。検証はカナリア方式で1台から始め、SLIが悪化したら即座に全自動化を停止するサーキットブレーカを入れておきます。
ロードマップの定石は90日プランです。0〜2週でアラート棚卸しと重複削減、3〜6週でランブック自動化（安全な操作から）、7〜10週で要約・分類のLLM連携、11〜13週で効果測定と恒久化。ここまでで「ノイズを減らし、危険は人が見る」という健全なバランスに到達できます。サーバ監視運用事業では、この型をお客様のSLOやシステム構成に合わせて実装・運用し、現場に残る“本当に人がやるべき判断”へ工数を再配分していきます。
