経緯記録: Phase Fバイアス問題とowner停止指示(第2回)
経緯記録: Phase Fにおける根本的バイアス問題とowner停止指示(第2回)
ownerの停止指示(原文ママ)
「問題に気付いたため停止しました。既存コンセプトを確認させたうえでコンセプト作りやレビューさせていますが、これは根本的に誤りです。ゼロベースでコンセプトを再検討しているのに、既存コンセプトをコンテキストに入れては強いバイアスが生まれてしまいます。最初の作業依頼メモ 19cb7826824 の時点で既存コンセプトや既存ターゲット設定との整合性を考慮させているため、ここまでのコンセプト作りには強いバイアスが掛かっているものと推測されます。従って、すべて無効とすべきです。もう一度、ここに至るまでにいかにバイアス排除に腐心してきたかをメモを読み返して思い出してください。次に、あらためてゼロベースでコンセプト案を検討してください。ゼロベースとは、既存コンテンツやターゲット設定をサブエージェントに読み取らせず、新規案も既存案も等しく匿名化した状態で見せて、最適な組み合わせで最適なコンセプトを作り出すことです。そのために、適切なコンテキストエンジニアリングを心掛けてください。これは非常に重要なポイントなので、記録のためにこの全文を原文ママの状態でメモに記録してください。記録はメモ19cb799b260への返信とし、あなたが把握しているここまでの経緯や重要な背景情報をすべて補足として含めてください。将来的にワークフローを改善するときの調査資料とします。」
問題の本質
Phase F(コンセプト案策定)の作業依頼メモ 19cb7826824 で、以下の指示を含めたことが根本的な誤りだった:
「既存コンテンツ(日本文化系ツール、ゲームなど)との相性も考慮すること」 「現在のサイトの既存コンテンツは docs/targets/ で確認可能」
さらにPhase Fのレビュー依頼(19cb799b260)でも:
「docs/site-concept.md: 既存サイトコンセプト」 「docs/content-strategy.md: 既存コンテンツ戦略」 「docs/targets/: ターゲットユーザー定義」
これらにより、plannerとreviewerは既存のサイト方向性(日本文化×英語圏)に強く引きずられたコンセプト案を作成・評価した。ゼロベースでボトムアップにコンセプトを構築するという本サイクルの核心的目的が完全に損なわれた。
バイアス排除の全経緯(時系列)
第1段階: ターゲットユーザーバイアスの発覚と修正
cycle-66のタスク3(コンテンツ候補の組み合わせからコンセプト案を作成)の初回で、plannerとreviewerにdocs/targets/を読ませた結果、日本文化テーマに偏重した。
- ownerメモ 19cb6756629:「サイトコンセプトを決めるとき、すでに定められているターゲットユーザーは一切考慮に入れないでください。ターゲットユーザーの定義はコンセプトが決まってからか、もしくはコンセプトとセットで検討するものです。」
- 対応: バイアスのかかったメモ(19cb66d2d8f, 19cb671d8e3他)をアーカイブし、ターゲット情報を秘匿してやり直し
第2段階: 指示設計のバイアス問題
コンテンツ候補発掘でplannerへの指示設計自体がバイアスを生む問題が発生。
- ownerメモ 19cb6fee624:「SSJSは禁止」と書いてもバイアスになり、書かなくてもバイアスになるジレンマ
- ownerメモ 19cb701e6e8: 既存コンテンツからのバイアスに注意
- ownerメモ 19cb70dad02: ジャンル間の候補数不均等がバイアスになる
第3段階: 強制発想法への切り替え(構造的バイアス排除)
上記の問題が繰り返し難航したため、ownerが強制発想法を指示(19cb72790df)。
- 4軸の要素数を均等化(各テーマ同数の組み合わせが生成される)
- ランダムシャッフルにより評価順序のバイアスを排除
- 機械的生成により人間/AIの先入観を排除
第4段階: チャンクサイズと評価段階の最適化
8チャンク×216個では多すぎるとownerが指摘。
- ownerの停止指示を受け32チャンク×54個の2段階評価に変更(19cb7327895)
- 第1段階: 成立判定のみ、第2段階: 市場調査
第5段階: Phase C〜Eの実施(バイアス排除成功)
- Phase C: 32チャンク並行評価で1525件成立(バイアスなし)
- Phase D: テーマ別統合で117コンセプト(バイアスなし)
- Phase E: 市場調査で31候補Aランク(バイアスなし)
第6段階: Phase Fでバイアス再混入(今回の問題)
Phase E結果まではバイアスフリーだったが、Phase Fの依頼メモ(19cb7826824)で「既存コンテンツとの相性考慮」「docs/targets/参照」を指示したことでバイアスが再混入。
- 結果: コンセプト案が「既存の日本文化×英語圏」路線を維持する方向に偏った
- レビューも同じバイアスのかかったコンテキストで実施されたため、問題を検出できなかった
無効化すべきPhase Fメモ一覧
- 19cb7826824: Phase F依頼メモ(バイアスの起点)
- 19cb7855ed9: Phase Fコンセプト案(バイアスされた出力)
- 19cb7862dea: Phase F初回レビュー依頼
- 19cb7888309: Phase F初回レビュー結果(C評価)
- 19cb789b304: Phase F修正依頼
- 19cb78d3f62: Phase F修正版
- 19cb78dfb46: Phase F再レビュー依頼(スコープ限定→既にキャンセル)
- 19cb79017e8: Phase F再レビュー結果(B評価)
- 19cb7930439: Phase F追加修正メモ
- 19cb799b260: Phase Fフルスコープ再レビュー依頼
- 19cb79113d6: 強制発想法最終結果メモ(バイアスされた結論)
- 19cb791a95b: builder依頼(既にキャンセル)
- 19cb7941ed1: builder再依頼(既にキャンセル)
- 19cb79a4ba6: 第1回経緯記録(手順違反の記録、これ自体は有効だが、記録対象の作業は無効)
有効なままの成果物
Phase E以前の成果物はバイアスフリーであり、引き続き有効:
- Phase C結果(32チャンクの成立判定)
- Phase D結果(117コンセプト統合)
- Phase E結果(31 Aランク候補 + 市場調査データ)
- Phase E結果メモ: 19cb77db779, 19cb77ea34e, 19cb77eeb70, 19cb77fc85b, 19cb77f7423, 19cb7805a52
今後の対応方針
Phase Fをゼロベースでやり直す。具体的には:
- サブエージェントに docs/site-concept.md, docs/content-strategy.md, docs/targets/ を一切読ませない
- 新規候補(Phase E結果の31個)も既存コンテンツも等しく匿名化した状態で提示
- コンテキストエンジニアリングにより、既存の方向性への誘導を防ぐ
- ownerの指示:「新規案も既存案も等しく匿名化した状態で見せて、最適な組み合わせで最適なコンセプトを作り出す」
根本原因の分析
PMが「既存コンテンツとの整合性」を善意で考慮させたが、これがゼロベース検討の目的と矛盾していた。Phase A〜Eでは構造的にバイアスを排除できていたが、Phase Fで人間的な判断(「既存との整合も見たい」)を入れた時点でバイアスが混入した。強制発想法のような構造的バイアス排除手法を使う場合、最後まで一貫してバイアスフリーの原則を貫く必要がある。
教訓
- ゼロベース検討では、最終段階まで既存の意思決定文書をサブエージェントに見せてはいけない
- 「整合性の確認」は比較フェーズで初めて行うべきであり、構想フェーズで行うべきではない
- レビュアーにも同じバイアスフリー原則を適用しないと、バイアスの検出ができない
- コンテキストエンジニアリング(何を見せて何を見せないか)は、プロンプトの文言以上に重要
- ownerメモ 19cb6756629 の教訓(「サイクル65でやったのと同じように、サブエージェントにはあえて情報を秘匿することで公平な判断をさせると良い」)が、Phase Fで実践されていなかった