複数Seed比較の読み方

要点

1枚だけの比較では、プロンプト変更の効果とSeedの偶然を分けにくい。同じ変更を複数Seedで繰り返し、最高点より、平均・最低点・採用率が安定したかを見る。

なぜ1枚では足りないのか

同じプロンプトでもSeedが変わると、表情・小物・手の位置・光の当たり方が動く。たまたま相性の良い1枚だけを選ぶと、「改善した」のではなく「当たりを引いた」可能性が残る。

複数Seed比較では、良い結果だけでなく、差が出なかった画像や失敗画像も分母に残す。

最初に見る4つの数字

Bestだけが上がり、WorstやAccept Rateが下がった場合は「当たれば強いが不安定」と読む。平均が同じでも、変更対象の評価軸だけが上がる場合もある。最初に見る数字は次の4つ。

• Average（平均）: 普段どの程度の結果が出るか
• Worst（最低点）: ハズレをどこまで減らせたか
• Accept Rate（採用枚数 ÷ 全枚数）: 公開候補を何枚確保できたか
• Pair Wins（同じSeed同士の勝敗）: 変更側が何回勝ったか

5 Seedで試す手順

• 比較する変数を1つだけ決める。
• A/Bで同じ5 Seedを使う。
• 採点項目と採用基準を画像を見る前に決める。
• 10枚をシャッフルするか、条件名を隠して採点する。
• Average・Worst・Accept Rate・Pair Winsを集計する。
• 「今回の5 Seedでは」と範囲を限定して結論を書く。

採点の目安

総合点だけでなく、今回変えた軸を別に持つ。光を変えたなら光、支持点なら接触、Negativなら意図しない混入を採点する。

• 5: 公開用として十分
• 4: 軽微な弱点はあるが採用可能
• 3: 説明または再生成が必要
• 2: 主要な指示を外している
• 1: 比較対象としても成立しない

RealBiosの30枚比較で起きたこと

詳しい画像、採点基準、条件別結果は 複数Seed再現性 に掲載している。主な結果は次のとおり。

• 光詳細ありは5ペア中4勝し、光評価平均は3.8から4.6へ上がった。
• 支持点を詳しくした条件は、5枚ともカップ保持より頬杖へ寄った。
• 過剰Negativは標準条件より採用率が80%から40%へ下がった。
• ただし過剰Negativ側が勝ったSeedも1つあり、1枚だけでは逆の結論になり得た。

チェックリスト

• A/BでSeed以外の生成条件を揃えたか。
• 比較変数を1つに絞ったか。
• 採用基準を結果を見る前に決めたか。
• 失敗画像を分母から外していないか。
• BestだけでなくWorstとAccept Rateを見たか。
• 5 Seedだけで普遍的な効果を断定していないか。
• 評価者数や同一画像の重複など、限界を開示したか。

次の一歩

まずはA/B各5枚で十分。差が小さい場合だけ10 Seedへ増やす。要素そのものの寄与を調べる場合は アブレーション研究 と prompt-ablation-same-seed を使う。