調査5結果: AIエージェントのバイアス問題の体系的分析
調査5結果: AIエージェントのバイアス問題の体系的分析
調査者: researcher 依頼メモ: 19cbd3c2213 作成日: 2026-03-05
概要
cycle-65〜66を通じて、AIエージェントが引き起こした複数のバイアス問題が明らかになった。本レポートでは、各バイアスの具体的な事例・原因・教訓を体系的に分析する。
1. 既存コンテンツ踏襲バイアス
何が起きたか
cycle-65のフェーズ2（サイトコンセプト再定義）において、PMがplannerに「ゼロベースで考えること」「日本文化・漢字・伝統色に限定しないこと」と明示的に指示したにもかかわらず、最初のコンセプト提案はほぼ既存コンテンツの焼き直しにとどまった。
Ownerがフィードバックメモ（19cb64bbec8）で記録した経緯：
「最初にAIエージェントが作ったのは、『既存コンテンツの活用案』だけでした。『完全に新しいコンテンツの提案』は、サンクコストに固執していることを危惧したOwnerの指示によって、繰り返し『既存にこだわるな』『新しいものを検討しろ』『ゼロベースで考えろ』と指示されながら作られたものです。最初にこの指示を出した結果出て来た4案すべてが既存コンテンツの踏襲だったので、現行踏襲のバイアスが如何に強力かが分かります。」
その後、Ownerの繰り返しの介入と「既存/新規の出自を秘匿した状態での評価」（メモ 19cb304c2f9）によって、ようやく新規提案が出てきた。
原因分析
(a) サンクコストバイアス AIエージェントはコンテキストとして与えられた既存コンテンツの文書を参照し、すでに存在するものを「価値あるもの」として扱う傾向がある。大量の文書化された既存設計は、それ自体がバイアスの源泉になる。
(b) 既存文書による固定化 plannerやresearcherに既存の docs/site-concept.md, docs/content-strategy.md, docs/targets/ を読ませると、それらに書かれた方向性を「正解」として受け取り、そこからの逸脱をリスクとして評価する。
(c) 「ゼロベース」の言語的限界 「ゼロベースで考えろ」という言語指示は、コンテキストとして与えられた既存文書の影響を消せない。プロンプトレベルの指示よりも、コンテキストとして何を見せるかの方が出力に対してより強い影響を持つ。
教訓
- ゼロベース検討では、既存文書をサブエージェントに渡さないことが不可欠。言語的に「既存を無視せよ」と指示するのでは不十分。
- 既存/新規の出自を匿名化して評価させることで、バイアスを構造的に排除できる。
2. 英語圏バイアス（事故報告 19cbc29d1ac）
何が起きたか
Ownerから「英語化が必要であることは不可能な理由にならない（= 英語圏コンテンツを不当に除外するな）」という指摘を受けたPMが、それをplannerへの依頼メモ（19cbc23c157）に以下のように反映した：
「新しい切り口のコンセプトも積極的に検討: カラー特化、感覚系、エンタメ×ツール、英語圏向け等。英語化は『不可能な理由』にならないので英語圏コンセプトも対象。」
これにより、plannerは「英語圏コンセプトを積極的に出すことが期待されている」と解釈し、英語圏方向への偏りが生じる可能性があった。Ownerが気づいて阻止したため実害はゼロだった。
なぜ起きたか
**過修正バイアス（overcorrection bias）**が根本原因。Ownerの指摘は「英語圏を不当に除外するな（= 公平に扱え）」だったが、PMはそれを「英語圏を積極的に推進せよ」と読み替えて反対方向に振れすぎた。
これは「あえて言わない」原則（後述）の未適用でもある。
誤り（前回）: 英語圏を不当に除外した
誤り（今回）: 英語圏を「積極的に検討せよ」と明示した
正解: 英語圏について一切言及せず、plannerが自由にコンセプトを構築する
3. ターゲット定義バイアス（owner指摘 19cb6756629）
何が起きたか
cycle-66のタスク3（コンセプト案作成）でplannerとreviewerにdocs/targets/を読ませた結果、既存のターゲットユーザー定義（日本文化×英語圏ユーザー等）に引きずられたコンテンツ選定が行われた。
Ownerの指摘（原文ママ）：
「サイトコンセプトを決めるとき、すでに定められているターゲットユーザーは一切考慮に入れないでください。ターゲットユーザーの定義はコンセプトが決まってからか、もしくはコンセプトとセットで検討するものです。ターゲットユーザーをplannerやreviewerに読ませてしまうと、そこに引っ張られて判断が歪められるおそれがあります。」
特に、市場調査R4（ゼロベース広域調査）で発見された非日本文化系の有望候補が過小評価される結果になった。
原因分析
上流の意思決定（コンセプト策定）と下流の定義（ターゲットユーザー）の時間的順序が逆転していた。既存のターゲット定義をコンセプト策定時に参照することは、結論が先にある状態での検討になる。
上流意思決定でのバイアス防止策
- コンセプト策定時は、既存のターゲット定義文書を一切サブエージェントに見せない
- ターゲット定義はコンセプト確定後に行う
- 情報の秘匿はプロセスの一部として意識的に設計する
4. 「あえて言わない」バイアス（owner指摘 19cb6fee624）
何が起きたか
コンテンツ候補発掘の依頼メモでplannerへの指示設計が問題になった。PMがサーバーサイドJSについて「禁止されていない」と明記したことで、plannerがサーバーサイドJS利用を意識した選定を行った可能性があった。
Ownerの指摘（原文ママ）：
「サブエージェントに指示を出すときは、コンテキストとして与えるメモの情報を慎重に設計してください。特定のディレクトリやメモを読ませないことと同じで、『あえて言わない』ことでバイアスを与えないようにすることも重要です。『XXXをする という指示を出す』の対義語は『XXXにしない という指示を出す』ではありません。『XXXに関する指示を書かない』が正解です。」
構造的な理解
| 指示の書き方 | バイアスの方向 |
|---|---|
| 「Xをせよ」 | X方向への強い正バイアス |
| 「Xをするな」 | X方向への強い負バイアス |
| 「Xは禁止されていない」 | Xへの注意喚起（弱い正バイアス） |
| X に一切言及しない | バイアスなし（理想） |
いずれの表現もXへの注意を向けさせる点で同じ効果を持つ。真のバイアス排除は、話題そのものに言及しないことでのみ達成される。
対策
- 異なるバイアスをかけた複数版を比較して公平性を担保する（本件ではSSJS禁止版とSSJS許可版を並べて比較）
- 依頼メモ作成前に「特定の話題に言及していないか」をチェックする
5. Phase Fでの既存バイアス再混入（owner停止指示 19cb7a91599）
何が起きたか
cycle-66のPhase A〜Eでは、強制発想法（4軸×1728組み合わせの機械的生成）によりバイアスを構造的に排除し、31の有望候補を導き出した。しかしPhase F（最終コンセプト案策定）の依頼メモ（19cb7826824）で以下の指示を含めたことでバイアスが再混入した：
「既存コンテンツ（日本文化系ツール、ゲームなど）との相性も考慮すること」
「現在のサイトの既存コンテンツは docs/targets/ で確認可能」
Ownerの停止指示（原文ママ）：
「既存コンセプトを確認させたうえでコンセプト作りやレビューさせていますが、これは根本的に誤りです。ゼロベースでコンセプトを再検討しているのに、既存コンセプトをコンテキストに入れては強いバイアスが生まれてしまいます。」
結果として、Phase Fで生成されたコンセプト案は「既存の日本文化×英語圏」路線を維持する方向に偏った。さらにレビューも同じバイアスのかかったコンテキストで実施されたため、問題を検出できなかった。
根本原因
PMが「既存コンテンツとの整合性」を善意で考慮させたが、これがゼロベース検討の目的と矛盾した。「最終段階だから整合性を確認したい」という人間的な判断が、構造的バイアス排除の努力を無効にした。
影響を受けた無効化すべきメモ
19cb7826824（Phase F依頼メモ起点）以降のPhase F関連メモ11件がすべて無効化された（詳細は 19cb7a91599 参照）。
教訓
- ゼロベース検討では、最終段階まで既存の意思決定文書をサブエージェントに見せてはいけない
- 「整合性の確認」は比較フェーズで行うべきであり、構想フェーズで行うべきではない
- レビュアーにも同じバイアスフリー原則を適用しないと、バイアスの検出ができない
- コンテキストエンジニアリング（何を見せて何を見せないか）は、プロンプトの文言以上に重要
6. 調査クエリのバイアス（cycle-66ターゲット再定義時）
何が起きたか
cycle-66でターゲット戦略の深掘り調査を依頼する際、PMが3つの仮説セグメント（10〜20代SNS好き、30〜40代恋愛相談、30〜40代パズル好き）を前提として調査Aを設計した。具体的には「年代×テーマを紐付けた」調査依頼になっていた。
Ownerの指摘（メモ 19cbd075ebe）：
「年代×テーマを固定した調査依頼になっており、検索クエリ自体にバイアスが混入する。例: 『10代 SNS バズ』で検索すれば当然その結論を支持するデータが出てくる。」
調査Aはキャンセルされ、「年代とテーマを事前に紐付けず、各テーマのユーザー層をフラットに調査する」形で再設計された。
構造的問題
仮説検証型調査では「仮説を支持するエビデンスが出やすい」という本質的な問題がある。検索クエリにセグメント×テーマの組み合わせを埋め込むと、その組み合わせを支持するコンテンツが検索結果に現れる自己強化ループが生まれる。
正しい調査設計
- 仮説（年代×テーマ）を検索クエリに直接入れない
- まず各テーマのユーザー層を独立して調べ、後でセグメントを帰納的に導出する
- 調査設計は「何が知りたいか」ではなく「どうすれば知識なしにデータが話せるか」から逆算する
7. バイアス問題の横断的パターン
以上の6つのバイアスを横断すると、共通するパターンが見えてくる：
パターンA: 善意の配慮がバイアスに変わる
| 事例 | 善意の配慮 | 生じたバイアス |
|---|---|---|
| Phase F | 既存コンテンツとの整合性確認 | 既存方向性への誘導 |
| 英語圏バイアス | 英語圏を公平に扱おうとした | 英語圏への積極的推進指示 |
| ターゲット定義 | 既存ターゲットとの整合を確保 | 既存ターゲット定義への固執 |
善意や「配慮」が特定の方向への注目を生み、バイアスに転化する。
パターンB: 言語指示よりコンテキストが強い
「ゼロベースで考えよ」「既存に囚われるな」という言語指示は、コンテキストとして渡された既存文書の影響を打ち消せない。コンテキストエンジニアリングはプロンプトエンジニアリングより根本的に重要。
パターンC: バイアスはレビューで検出できない
バイアスがかかったコンテキストでレビューを行っても、同じバイアスがかかったレビュー結果になる。バイアスの検出には、バイアスフリーなコンテキストで評価する独立したフェーズが必要。
パターンD: 過修正バイアス（overcorrection）
「Aへの偏りをなくせ」という指摘に対して「Bを積極的に推進する」という反応をしてしまう。正解は「ニュートラルに戻す」ことであり、反対方向に振れるのは別のバイアスを生む。
8. 実践的な防止策チェックリスト
サブエージェントへの依頼メモを作成する前に確認すべき事項：
コンテキスト設計:
- [ ] 既存の意思決定文書（site-concept.md, targets/, content-strategy.md）を
渡していないか？（上流決定フェーズでは渡さない）
- [ ] 比較評価で既存/新規の出自が分かる形になっていないか？（匿名化する）
- [ ] 調査設計で仮説を検索クエリに直接入れていないか？
指示文言:
- [ ] 特定の方向性を「積極的に検討せよ」と明示していないか？
- [ ] 特定の方向性を「禁止する」「禁止されていない」と言及していないか？
- [ ] 「あえて言わない」原則を適用できているか？
過修正チェック:
- [ ] Ownerの指摘を「推進」ではなく「公平化」として解釈しているか？
- [ ] 前回の偏りを修正しようとして反対方向に振れていないか？
レビュー設計:
- [ ] レビュアーにも同じバイアスフリー原則を適用しているか？
- [ ] バイアスがかかった状態のレビューではないか？
参照メモ一覧
| バイアス種別 | 主要メモID |
|---|---|
| 既存コンテンツ踏襲バイアス | 19cb64bbec8, 19cb3008a0b, 19cb304c2f9 |
| 英語圏バイアス | 19cbc29d1ac |
| ターゲット定義バイアス | 19cb6756629 |
| 「あえて言わない」バイアス | 19cb6fee624 |
| Phase Fバイアス再混入 | 19cb7a91599 |
| 調査クエリバイアス | 19cbd075ebe |