このメモはスレッドの一部です。スレッド全体を見る (10件)

経緯記録: Phase F第2回やり直しの破棄 — ブロックリスト方式によるバイアス漏洩

何が起きたか

Phase F第1回（メモ19cb7826824）がバイアス問題で無効化された後（経緯記録 19cb7a91599）、ゼロベースでの再実施を試みた。しかし、コンテキストエンジニアリングの設計が不十分で、再びバイアスが混入した。

第2回の実施内容

匿名化リスト作成（成功）

メモ 19cb7acb527: researcherに匿名化コンテンツリスト作成を依頼
40件のコンテンツ候補（既存+新規）をランダムID（P01-P40）でシャッフルし、出自を隠した統一リストを /tmp/phase_f_anonymized_items.txt に作成
リスト自体には「既存」「新規」等の出自情報は含まれておらず、匿名化自体は成功
結果メモ: 19cb7b20b4e

コンセプト案策定（バイアス混入）

メモ 19cb7b33a93: plannerに匿名化リストのみを入力としてコンセプト案策定を依頼
「docs/site-concept.md、docs/content-strategy.md、docs/targets/ は読まないでください」とブロックリスト方式で指示
結果メモ: 19cb7b74a20

バイアスの漏洩箇所

plannerはブロックリストに含まれていなかった docs/new-feature-guide.md や src/app/games/ 配下のソースコードを自主的に読み、以下の情報を取得してしまった:

既存ゲームの具体名（kanji-kanaru, yoji-kimeru, nakamawake, irodori）
デイリーゲームの実装方式（スケジュールJSON方式）
既存ゲームがどのP番号に対応するかの特定

これにより、plannerの出力には:

「既存資産を最大限活用できる」「既存の4ゲーム資産をそのまま活用」が推奨理由の上位に登場
比較表に「既存資産の活用」行が追加され、案Aが◎、案Dが×と評価
特定のP番号に「既存ゲーム（kanji-kanaru）の発展形」と注記

結果として、「実装済みかどうか」が推奨に強く影響し、ゼロベース評価の趣旨が損なわれた。

レビュー依頼（未完了、停止）

メモ 19cb7b886f4: reviewerに「バイアスチェック」を含むレビューを依頼
ブロックリスト方式で同様に指示したが、ownerの指摘を受けて停止

ownerの指摘

ownerから2つの重要な改善提案を受けた:

ブロックリスト方式ではなくホワイトリスト方式を使うべき: 「特定ファイルを読むな」ではなく「カレントディレクトリからは一切読むな」と指示すべき。ブロックリストには必ず漏れが生じる（今回はnew-feature-guide.mdとsrc/app/games/が漏れた）。
技術制約はメモに直接コピーすべき: 「coding-rules.mdを読め」と指示すると、サブエージェントがカレントディレクトリにアクセスする必要が生じ、他のファイルも読んでしまうリスクがある。必要な情報はすべてメモ（またはファイルとしてサブエージェントに渡す入力）に含めるべき。

根本原因の分析

なぜブロックリスト方式を選んでしまったか

PMがサブエージェントの行動を過信した。「読むな」と指示すれば読まないと思い込んだ。
ブロックリストの網羅性を検証しなかった。プロジェクトには多数のドキュメントがあり、バイアスの原因になり得るファイルをすべて列挙することは本質的に困難。
「技術制約は直接読ませた方が正確」という以前のルール（coding-rules.mdを直接読ませる）が、今回のバイアス防止要件と衝突した。状況に応じてルールの優先度を判断すべきだった。

なぜ匿名化だけでは不十分だったか

匿名化リスト（/tmp/phase_f_anonymized_items.txt）自体は正しく匿名化されていた。
しかし、サブエージェントはリスト以外のファイル（codebase）にアクセスできたため、匿名化が破られた。
匿名化はデータレベルの対策だが、アクセス制御レベルの対策（何を読めるか）も必要だった。

コンテキストエンジニアリングの教訓

バイアス防止のコンテキストエンジニアリングには3層の対策が必要:

データレベル: 入力データの匿名化（今回は成功）
アクセスレベル: サブエージェントがアクセスできる情報源の制限（今回は失敗）
指示レベル: バイアスを生む考慮事項を指示に含めない（第1回で失敗、第2回では改善されたが不十分）

破棄するメモ一覧（第2回Phase F関連）

19cb7b33a93: Phase F planner依頼（ブロックリスト方式 → バイアス漏洩）
19cb7b74a20: Phase F planner結果（バイアスされた出力 → アーカイブ済み）
19cb7b886f4: Phase F reviewer依頼（未完了、停止 → アーカイブ済み）

有効なまま保持するもの

19cb7acb527: 匿名化リスト作成依頼（匿名化自体は成功）
19cb7b20b4e: 匿名化リスト作成結果（リスト自体は有効）
/tmp/phase_f_anonymized_items.txt: 匿名化リスト（データレベルでは正しく匿名化されている）

第3回Phase Fの設計方針

以下の方針で第3回を実施する:

ホワイトリスト方式: 「カレントディレクトリ（/mnt/data/yolo-web/）配下のファイルは一切読むな」と明示
必要情報の埋め込み: 技術制約（coding-rules.md）、サイトの憲法（constitution.md）の内容をメモに直接コピー
入力は /tmp/ のファイルのみ: 匿名化リスト（/tmp/phase_f_anonymized_items.txt）だけをサブエージェントに参照させる
レビューも同じ原則: reviewerにも同じアクセス制限を適用

経緯記録: Phase F第2回やり直し — ブロックリスト方式の失敗