KEEL
AI品質安定化調査

第2章:AI品質安定化モデル

AIを工程内品質ゲートとして組み込む設計。

AI品質安定化モデルは、AIを単独の作業者として扱うのではなく、工程ごとに作業支援、セルフレビュー、品質ゲート、ナレッジ化の4層へ配置する考え方である。

2.0b AI品質は「モデル」より「経験設計」で決まる

PoC段階でも、LLM/エージェントの振る舞いはどの資料を・どの順序で・どの評価で浴びせるかで変わる(カリキュラム学習の一般論)。本調査の副操縦士モデルは、プロンプト一発ではなく ルール → スキル → アンカー(ADR/REQ/19章マスタ)→ 評価(KPI/eval/drift)→ ログ(PR/BTS) の5層で品質を維持する。

AIに長く・多段に作業させると、過去に合意した設計意図・例外条件・命名規則・責務分離・非対象範囲を見落とす可能性がある。本ガイドでは、判断構造を参照点(アンカー)としてADRへ記録し、PR・CI・AIレビュー・handoff から継続参照する運用をPoC仮説として扱う。

PoCでの適用
観点本パック定着後(dev_docs)
アンカー第19章マスタ · 第13章禁止事項ADR Quality Anchor · REQ正本
評価第12章KPI · Agent-native eval(7.0b)CI QG · semantic-drift-audit
順序00提案→17スキル→11PoCの読み順チケットループ · ゲート順
劣化防止ゴールデンevalでスキル退行検知ADR Must Preserve · Drift Signals
詳細: dev_docs 第2章 ADRアンカー · 第4章 CI/CD×AI · 設計仮説の正本 dev_docs_guide/research/quality_anchor_ai_ops.md

研修 — NIST AI RMF / ISO/IEC 25010 / 本パック KPI 対応

PoC の「何を測るか」を外部基準と対応づけると、経営・監査・品質担当への説明がしやすくなる。本表は研修・提案用の対応メモであり、認証・適合宣言ではない。

信頼できる AI(NIST AI RMF 1.0)と本パック
NIST AI RMF 特性研修での言い換え本パックの実装代表 KPI / 証跡
Valid & Reliable意図どおり・安定して効くPR前レビュー · 要件ゲート · evalAI指摘採用率 · 手戻り件数 · eval 合格率(第12章)
Accountable & Transparent誰が何を判断したか追えるPRテンプレ · AI利用ログ · Human GateAI-OPS-LOG · PR の採否理由欄(第13・14章)
Secure & Resilient機密を守り・想定外に耐える投入禁止 · スキル監査 · サンドボックス機密投入ゼロ · 公開スキル 13.2d チェック(第13章)
Explainable & Interpretable指摘の根拠が分かるレビュー観点の標準化 · 記録様式採用/保留/不採用の理由1行(演習1)
Privacy-Enhanced個人情報・顧客データを守るデータ分類 · マスキング方針投入可否チェックリスト(第13章)
Fair(有害バイアス管理)不当な差別・偏りPoC 範囲外は UNRESOLVED と明記—(本パック初回研修では概要のみ)
ISO/IEC 25010 品質特性(抜粋)との接続
ISO 25010AI支援ワークフローでの見方本パック章
機能適合性AI指摘が仕様・受入基準に沿うか第04章 · 第17章 B-1
信頼性同種の差分で指摘品質が安定するか第12章 eval · 第21章
使用性レビュー時間が増えすぎないか第12章 P-1 · 週次 KPI
保守性スキル・プロンプト変更が追跡できるか第17章 17.0b · 第07章
セキュリティ機密・権限・本番変更の統制第13章 · 第09章
根拠: NIST AI RMF — Trustworthy AI characteristics · ISO/IEC 25010(ソフトウェア品質モデル)。詳細キュレーション: training_cursor_research_20260713.md
やらないこと: KPI 未実測を「準拠済み」と言う · Installs/Stars のみを品質根拠にする。

2.1 4層モデル

目的対象成果
第1層:作業支援作業速度を上げるコード、設計書、テストケース、手順書たたき台作成、比較案作成
第2層:セルフレビュー担当者自身の確認品質を上げる実装前後、設計後、テスト前単純ミス・抜け漏れ削減
第3層:品質ゲート成果物を通過判定するPR、設計書、テスト仕様、IaC、作業申請レビュー品質の平準化
第4層:ナレッジ化組織知を再利用する過去障害、レビュー指摘、標準ルール属人化防止、再発防止

2.2 AIを入れるべき工程

工程AI活用品質ゲート
要件定義曖昧語、未定義語、例外条件、受入条件の不足を抽出要件レビュー会議前にAI指摘を確認
基本設計画面・帳票・IF・DB・権限・運用の漏れ確認設計レビュー時に指摘採否を記録
詳細設計処理分岐、例外、トランザクション、ログ、再実行性を確認製造着手前に未解決事項を潰す
実装実装案比較、コード生成補助、セルフレビューPR前にAIレビューと単体テスト実行
テスト観点生成、ケース作成、回帰候補抽出QAが採否判断しテスト管理表へ反映
リリース作業手順、切り戻し、影響範囲をレビュー作業申請にAIチェック結果を添付
運用ログ要約、障害一次切り分け、再発防止案人間承認後に対応、報告書へ反映

2.3 品質ゲートの標準フロー

成果物作成
  ↓
AIセルフレビュー
  ↓
担当者がAI指摘を採否判断
  ↓
機械チェック
  ↓
人間レビュー
  ↓
修正
  ↓
再チェック
  ↓
承認
  ↓
証跡化

AI出力は成果物ではなくレビュー材料である。AIの提案を採用する場合も、採用理由、修正内容、確認結果を担当者が説明できる必要がある。

2.4 品質ゲートの例

対象AIチェック機械チェック人間チェック
コードNull、例外、重複、テスト不足ビルド、単体テスト、Lint、SAST仕様整合、設計思想、保守性
設計書曖昧性、例外、非機能、影響範囲表記ルール、成果物整合顧客要件、業務ルール
テスト仕様観点漏れ、境界値、異常系テスト管理ツール整合優先度、実行可能性
IaC公開範囲、暗号化、タグ、破壊的変更validate、tflint、checkov、plan運用影響、コスト、承認
作業手順切り戻し、影響範囲、確認不足dry-run、検証環境実行本番影響、作業順序、承認
KEEL