アブレーション比較の始め方

要点

アブレーション比較は、完成プロンプトから1要素だけを外し、結果がどう変わるかを見る方法。良い画像を選ぶ競争ではなく、BREAK・支持点・光・Narrativeなどの役割を切り分けるために使う。

最初に基準を固定する

削除前をA、1要素だけ外した条件をBにする。モデル、解像度、Sampler、Steps、CFG、Seedなど、調べたい要素以外は揃える。二つ以上を同時に変えると、どちらが結果へ効いたか分からなくなる。

• A Full: 完成プロンプトをそのまま使う
• B No Lighting: 光の詳細だけを外す
• A/Bで同じSeedを使う
• 各条件を同じ枚数だけ生成する

総合点だけを見ない

外した要素に対応する評価軸を先に決める。光を外したなら光と背景分離、支持点を外したなら接触と姿勢、Narrativeを外したなら表情と物語性を重点的に見る。

• Average: 普段の出力水準
• Worst: 最も悪い画像の底
• Accept Rate: 公開候補になった割合
• Target Metric: 外した要素に直接対応する点数
• Failure Flags: 手指破綻、指示無視、小物混入など

1枚で結論を出さない

同じ条件でもSeedによって、良い画像と悪い画像が入れ替わる。A/B各1枚では「要素の効果」より「Seedの偶然」を見ている可能性が高い。まず同一の5 Seedを使い、差が小さい場合だけ10 Seedへ増やす。

判定保留は失敗ではない

条件ごとの枚数が違う、Seedが揃っていない、複数サービスが混ざっている場合は、平均点を因果効果として扱えない。そのときは、見えた傾向を記録しつつ「判定保留」と書く。

• 画像が1枚しかない条件
• 比較元とSeedが違う条件
• モデルやサービスが混在する条件
• 評価者が一人だけの条件

RealBiosの25枚で分かったこと

取得済み25枚の記述的比較では、品質タグ削減による明確な品質低下は見えず、キャラDNA簡略化では髪・瞳・衣装の一致が低下した。一方、支持点なしと最小ネガは各1枚しかなく、仮説判定を保留した。詳しい画像と採点は アブレーション研究 に掲載している。

同一5 Seed・40枚での再検証は prompt-ablation-same-seed 。ここではキャラDNA悪化が再現し、品質タグ削減の頭打ちも維持された。支持点は判定保留のまま、最小Negativは限定的な部分支持へ更新した。

チェックリスト

• 比較変数を1つだけにしたか。
• A/Bで同じSeedと生成設定を使ったか。
• 条件ごとの枚数を揃えたか。
• 結果を見る前に採点基準を決めたか。
• 総合点と対象軸を分けて記録したか。
• 失敗画像も分母へ残したか。
• データ不足なら判定保留にしたか。

次の一歩

まずは長いプロンプトから、効果を説明できない1ブロックを選ぶ。A/B各5 Seedで比較し、結果の読み方は 複数Seed比較の読み方 で確認する。同一Seedアブレーションの実例は prompt-ablation-same-seed 。