第14章：ケーススタディ
この章で分かること
- 「監視が検知 → AIが整理 → 人が判断」の型を具体例で見る
- よい自動復旧と、絶対にいけない自動復旧の差
- 各ケースで誤判断時の被害抑制を先に設計すること
- 研修で深掘りする2〜3本の選び方
読み方
全部を暗記しなくて大丈夫です。研修では2〜3本を深掘りし、残りは「同じ12欄の型」だと眺めます。
各表は上から下へ時間の流れです。
12欄の型（全ケース共通）
状況 → 既存検知 → 証拠 → AI参照 → AI提示 → 人間判断 → 実行者 → 復旧ゴール → エスカレ → 証跡 → 誤判断抑制 → 事後改善
推奨セット: ケース1（アプリ）・2（Trap）・7（誤推定）・9（自動復旧NG）。時間があれば4と6。
自社ケース記入ワークシート
研修では、下の12欄を使って自社で起きそうなケースを1つ書きます。全部を完璧に埋めるより、空欄を「顧客確認待ち」「未定義」として見える化することを優先します。
| 欄 | 記入内容 | 受講時メモ |
|---|---|---|
| 状況 | 何が、誰に、どの程度起きているか | |
| 既存監視の検知 | どの監視・通知が最初に気づくか | |
| 保存される証拠 | ログ、メトリクス、トレース、変更履歴 | |
| AIが参照する情報 | AIに読ませる範囲と読ませない情報 | |
| AIが提示する内容 | 仮説、反証、不足情報、次の確認 | |
| 人間が判断する内容 | 採用可否、承認要否、顧客影響 | |
| 実行者 | 作業者、承認者、エスカレ先 | |
| 復旧ゴール | 何を満たせば復旧とみなすか | |
| エスカレーション条件 | 何分、どの影響、どの手詰まりで上げるか | |
| 記録すべき証跡 | AI提案、採否、承認、実行結果 | |
| 誤判断時の被害抑制 | 権限制限、回数制限、停止条件、ロールバック | |
| 事後改善 | ログ、監視、手順、テスト、権限の改善 |
演習：自社版を1ケース作る
ケース1・2・7・9のどれかを真似て、自社のサービス名や運用体制に置き換えます。最後に「AIに任せること」「人が必ず判断すること」「自動化してはいけないこと」を1行ずつ書きます。
1. アプリの致命的エラー
| 状況 | 注文APIで未処理例外が急増 |
|---|---|
| 既存監視の検知 | APM/ログのerror率閾値 |
| 保存される証拠 | stacktrace, version, trace_id, デプロイ履歴 |
| AIが参照する情報 | エラーログ、トレース、直前デプロイ |
| AIが提示する内容 | 例外型集約とロールバック候補（仮説） |
| 人間が判断する内容 | ロールバック可否と顧客影響 |
| 実行者 | 運用（承認後） |
| 復旧ゴール | 5xxがSLO内、15分再発なし |
| エスカレーション条件 | 30分未収束で上位へ |
| 記録すべき証跡 | タイムラインとAI提案の採否 |
| 誤判断時の被害抑制 | 読み取りから開始、実行は承認 |
| 事後改善 | event_codeとテスト追加 |
2. SNMP Trap による機器障害
| 状況 | 上位スイッチからlinkDown Trap |
|---|---|
| 既存監視の検知 | Trap→監視の重大アラート |
| 保存される証拠 | OID, interface, 隣接、業務マップ |
| AIが参照する情報 | Trap原文とトポロジ |
| AIが提示する内容 | 単一ポートか広域かの切り分け案 |
| 人間が判断する内容 | 現地対応か迂回か |
| 実行者 | ネットワーク運用 |
| 復旧ゴール | 対象セグメントの疎通回復 |
| エスカレーション条件 | 多重障害なら上位NW |
| 記録すべき証跡 | Trap原文と承認操作 |
| 誤判断時の被害抑制 | 自動でポート閉鎖しない |
| 事後改善 | 依存マップ更新 |
3. CIテスト失敗
| 状況 | mainで回帰テスト失敗 |
|---|---|
| 既存監視の検知 | CI失敗通知 |
| 保存される証拠 | jobログ, commit, flaky旗 |
| AIが参照する情報 | 失敗ログと差分 |
| AIが提示する内容 | 原因候補と修正PR草案 |
| 人間が判断する内容 | マージしてよいか |
| 実行者 | 開発（レビュー必須） |
| 復旧ゴール | CIが再び緑 |
| エスカレーション条件 | 保安検査失敗はセキュリティへ |
| 記録すべき証跡 | 提案PRとレビュー結果 |
| 誤判断時の被害抑制 | 自動マージしない |
| 事後改善 | flaky（不安定テスト）の隔離 |
4. デプロイ後の本番障害
| 状況 | Canary後に遅延悪化 |
|---|---|
| 既存監視の検知 | SLO違反アラーム |
| 保存される証拠 | deployment_idとトレース |
| AIが参照する情報 | リリース差分と依存の遅延 |
| AIが提示する内容 | 変更相関とロールバック案 |
| 人間が判断する内容 | 戻すか前に進むか |
| 実行者 | 承認者＋運用 |
| 復旧ゴール | SLO復帰 |
| エスカレーション条件 | エラーバジェット急消費で緊急 |
| 記録すべき証跡 | 実行結果の監査 |
| 誤判断時の被害抑制 | feature flagで範囲限定 |
| 事後改善 | 再現テスト追加 |
5. LLMコスト暴走
| 状況 | 推定コストが閾値超過 |
|---|---|
| 既存監視の検知 | メトリクス閾値（思想は[S01]） |
| 保存される証拠 | model/service別カウンタ |
| AIが参照する情報 | トークン急増のサービス |
| AIが提示する内容 | 暴走バッチ候補 |
| 人間が判断する内容 | すぐ止めるか |
| 実行者 | 利用チーム＋承認 |
| 復旧ゴール | 超過の停止 |
| エスカレーション条件 | 請求突合が必要なら情シス |
| 記録すべき証跡 | 推定と請求の差 |
| 誤判断時の被害抑制 | ハードな上限を先に |
| 事後改善 | 単価表のメンテ |
6. PIIを含むログ
| 状況 | 例外にメールの生値 |
|---|---|
| 既存監視の検知 | DLPやレビューで発見 |
| 保存される証拠 | 該当ログとマスク状況 |
| AIが参照する情報 | 該当行（平文は人間のみ） |
| AIが提示する内容 | マスク手順と影響調査法 |
| 人間が判断する内容 | 公開範囲の遮断 |
| 実行者 | セキュ＋アプリ |
| 復旧ゴール | 平文PIIの照会停止 |
| エスカレーション条件 | 漏洩疑いならIR |
| 記録すべき証跡 | アクセス監査 |
| 誤判断時の被害抑制 | AIに平文を渡さない |
| 事後改善 | 書き込み時ハッシュ化 [S02] |
7. AIが誤った原因を提示
| 状況 | AIが『DB故障』と断定 |
|---|---|
| 既存監視の検知 | 実際メトリクスは正常 |
| 保存される証拠 | 反証メトリクスとデプロイ時刻 |
| AIが参照する情報 | 同じ証拠セット |
| AIが提示する内容 | 反証つきの再仮説 |
| 人間が判断する内容 | 事実と推測の分離を強制 |
| 実行者 | インシデント責任者 |
| 復旧ゴール | 誤誘導なく次確認へ |
| エスカレーション条件 | 信頼度が低いままならエスカレ |
| 記録すべき証跡 | 誤り率を記録 |
| 誤判断時の被害抑制 | 自動実行と連動させない |
| 事後改善 | 評価データへ追加 |
8. 自動復旧してよいケース
| 状況 | ステートレスWebのプロセス再起動（許可リスト済み） |
|---|---|
| 既存監視の検知 | ヘルスチェック連続失敗 |
| 保存される証拠 | 過去の成功実績 |
| AIが参照する情報 | ヘルス・プロセス・版 |
| AIが提示する内容 | 手順とdry-run結果 |
| 人間が判断する内容 | L5条件を満たすか |
| 実行者 | 事前承認済みの自動 |
| 復旧ゴール | ヘルスOKが続く |
| エスカレーション条件 | 再発N回で人間へ |
| 記録すべき証跡 | 実行前後の数値 |
| 誤判断時の被害抑制 | 回数と対象を厳しく制限 |
| 事後改善 | 成功率の監視 |
9. 自動復旧してはいけないケース
| 状況 | 顧客残高の修復SQL |
|---|---|
| 既存監視の検知 | データ異常アラート |
| 保存される証拠 | 影響行数が不明 |
| AIが参照する情報 | スキーマとマスク済サンプル |
| AIが提示する内容 | 実行案のみ（危険と明示） |
| 人間が判断する内容 | 絶対に自動実行しない |
| 実行者 | DBA＋承認 |
| 復旧ゴール | 手作業計画での整合回復 |
| エスカレーション条件 | 即IR |
| 記録すべき証跡 | 提案全文の監査 |
| 誤判断時の被害抑制 | 更新権限をツールから外す |
| 事後改善 | 補償取引の設計 |
運用担当者自社で起きそうなケースを1つ選び空欄を埋める
PGケース1と7の反証を、修正前の確認手順として使う
SEケース1と7を、初動票テンプレとレビュー観点に取り込む
PMケース9を「やってはいけない自動化」の共有資料にする
経営層自動復旧の話はケース8と9をセットで聞く
ふりかえり
- 深掘りしたケースで「誤判断時の抑制」を説明できたか
- 自社版の1ケースを書き始めたか