KEEL
AI品質安定化調査

第11章:導入ロードマップ・PoC計画

3か月PoC、段階導入、完了条件、展開判断。

AI導入は、いきなり全工程へ展開せず、まずは小規模PoCで品質が本当に安定するかを確認する。最初はレビュー補助とテスト観点生成から始めるのが安全である。

11.1 フェーズ構成

フェーズ目的主な作業
フェーズ0:準備ルール・対象・指標を決める対象案件選定、AI利用ルール、標準プロンプト作成
フェーズ1:AIセルフレビュー人間レビュー前の品質を上げる設計書・コード・テスト仕様・手順書のAIレビュー
フェーズ2:テスト生成テスト品質を厚くする単体テスト、テスト観点、回帰候補生成
フェーズ3:PRレビューレビュー負荷を下げるAI一次レビュー、PRテンプレート運用
フェーズ4:セキュリティ修正支援脆弱性対応を速くするSAST/CodeQL結果の説明、AI修正案、再スキャン
フェーズ5:PMOダッシュボード化プロジェクト管理へ接続する品質指標、課題、レビュー滞留、リスク集計

11.0b PoC設計:AI役割分担をテーマに組み込む

3か月PoC(11.2)では、ツール導入そのものより品質指標の変化を測る。AI役割分担(第17章 17.0)は、次の主PoCテーマとセットで設計する。

主PoC役割分離の狙い週次で見る指標中止・縮小
PR前セルフレビュー実装≠レビューAIレビュー時間、採用率第19章 19.5b
要件・設計レビュー補完禁止・検出のみ曖昧語、未決件数同上
TDD / 単体テストテスト先行の型テスト数、手戻り同上

記録・試行環境: PoC試行キット(本番リポジトリの正本運用テンプレではない)。

Knowledge 索引(PoC テーマ)

主 PoC 1〜3 本は poc-theme-register.mdpoc_themes.yaml で ID · KPI を同期する。

索引内容
poc_themes.yamlP1/P2/P3 · 担当 · KPI
practices.yaml職種×章の施策(19.3 対応)
traceability.yaml施策 ↔ KPI ↔ スキル

11.2 3か月PoC案

期間実施内容
1か月目対象案件選定、AI利用ルール作成、標準プロンプト作成、設計書レビュー・コードレビューで試行、初回効果測定
2か月目単体テスト生成、テスト観点生成、PR前AIセルフレビュー必須化、指摘傾向集計
3か月目セキュリティスキャン連携検討、AI利用ログと品質指標整理、標準手順書化、PoC結果報告

11.2b PoC対象の絞り込み

PoCは「AIで何でも効率化する」ではなく、効果とリスクを測れるテーマに絞る。まずは3テーマ程度を主対象にし、他テーマは参考観察に留める。

区分候補採用理由測るもの
主PoCPR前セルフレビュー / TDD支援品質指標と開発フローに接続しやすいレビュー時間、指摘採用率、手戻り件数
主PoC要件・設計レビュー受託開発の上流品質に効く曖昧語、未決事項、意味逸脱、レビュー指摘密度
主PoCインフラ手順書 / IaCレビュー事故予防とチェック自動化の相性がよい設定ミス、High指摘放置日数、手順漏れ
参考観察PMO週次、勤怠照合、エンゲージメント文案効果はあるが業務・人事影響の整理が必要作業時間、差戻し率、利用者負担、誤判定

11.3 インフラPoC案(第9章 9.11と数値整合)

本節のKPIは 第9章 9.11 事例I-1〜I-3と同一のBefore/After定義。PoCは3か月固定。開始前2週間でベースライン計測し、終了時に第11.5テンプレへ転記する。

11.3.1 月次スケジュールと到達目標

実施内容到達目標(第9章事例)
1か月目サーバ構築手順書・設定ファイルのAIレビュー、指摘採否記録、ベースライン確定事例I-2:手順書レビュー工数 2h→1h/件へ改善開始。手順漏れ四半期3件→向かう
2か月目Terraform/Ansibleレビュー、checkov/tflint/ansible-lint、plan要約、terraform-best-practices試用事例I-1:checkov High放置 中央値5日→2日以下。planレビュー 45分→30分以下
3か月目過去障害票要約、ログ解析演習、systematic-debugging、標準運用化判断事例I-1完了:設定ミス本番前 月2→0、plan 25分。I-3:一次切り分け 90分→45分、上位3候補78%

11.3.2 KPI一覧(ベースライン → PoC終了目標)

数値は第9章9.11のPoC想定事例と一致。実案件ではベースライン計測値で置き換える。

指標Before(ベースライン)After(3か月PoC目標)対応事例
本番反映前の設定ミス月2件(うちロールバック1)月0件I-1
checkov High指摘の放置日数中央値 5日中央値 1日I-1
AI指摘採用率(IaC)58%I-1
planレビュー時間/PR45分25分I-1
作業手順漏れ(切り戻し・確認)四半期3件四半期0件I-2
手順書レビュー工数上級 2h/件上級 1h/件I-2
新人作業時の確認質問平均 8件/作業平均 3件/作業I-2
障害一次切り分け時間中央値 90分中央値 45分I-3
原因候補Top3に真因78%(事後評価)I-3
誤った本番操作(暫定対応)年1件0件(PoC期間)I-3

11.3.3 インフラPoC完了条件(追加分)

11.4 PoC完了条件

11.4b PoC中止・縮小条件

効果が出ないテーマを続けると、AI利用そのものへの信頼を落とす。次の条件に該当した場合は、対象縮小、手順見直し、または停止を判断する。

条件判断対応
AI指摘採用率が2週間連続で20%未満テーマまたはプロンプト不適合対象文書を限定し、採用基準を再定義する
レビュー時間が短縮せず、確認負荷だけ増える費用対効果不足利用場面をPR前セルフチェックなどに限定する
誤指摘や誤修正により手戻りが増える品質悪化リスクAI出力の直接反映を禁止し、人間レビューを強化する
機密情報・個人情報の投入制御ができないガバナンス不成立当該テーマを停止し、データ分類ルールを先に整備する
KPIの母数・測定方法が記録されない評価不能第19章の測定定義に合わせてログ取得を必須化する

11.5 PoC結果報告テンプレート

# AI品質安定化PoC結果報告

## 1. 目的
AIを利用し、設計・実装・レビュー・テスト・インフラ運用における品質安定化効果を検証する。

## 2. 対象
- 対象案件:
- 対象工程:
- 対象メンバー:
- 使用AI:
- 対象成果物:

## 3. 実施内容
- 設計書AIレビュー
- コードAIセルフレビュー
- 単体テスト生成
- テスト観点生成
- PRテンプレート運用
- インフラ手順書レビュー
- IaCレビュー
- ログ要約

## 4. 定量結果
| 指標 | 導入前 | 導入後 | 変化 |
|---|---:|---:|---:|
| 実装工数 | | | |
| レビュー指摘件数 | | | |
| 手戻り件数 | | | |
| テストケース数 | | | |
| バグ件数 | | | |
| レビュー待ち時間 | | | |
| 設定ミス件数 | 月2 | 月0 | -2 |
| checkov High放置日数(中央値) | 5日 | 1日 | -4日 |
| planレビュー時間/PR | 45分 | 25分 | -20分 |
| 手順書レビュー工数 | 2h/件 | 1h/件 | -1h |
| 障害一次切り分け(中央値) | 90分 | 45分 | -45分 |

## 5. 定性結果
- 良かった点
- 困った点
- AIが有効だった作業
- AIが不向きだった作業
- メンバーの反応

11.6 事務・勤怠照合PoC案(第18章と整合)

実施内容到達目標
1か月目18.2マップから優先業務2つ選定(推奨:勤怠照合+電話取次層1)、xlsx/pdf導入、マスキングルールベースライン計測
2か月目勤怠照合の締め前運用、phone-intake-assistant試行、経費 or 議事録を1業務追加A-1:差戻し月8→3、PH-1:伝言不備週5→1

全業務マップ・スキル一覧:第18章

11.7 エンゲージメント施策PoC案(モチベーションクラウド等連動)

期間実施内容到達目標
サーベイ直後2週間期待度×満足度マトリクスから優先課題をAI整理、施策案3〜5件を言葉選びレビュー付きで起草管理職が選定した施策2件以上を現場へ説明可能
パルス1サイクル(2〜4週)施策実施+AI文案(称賛・依頼・周知)のA/B言い回し比較、パルス前後比較事例E-1:「取り組みやすさ」自己評価 +0.3pt以上(5段階)

AIは施策の最終決定・人事評価・個人名の公開は行わない。第18章 18.1318.11参照。

KEEL