指摘: PROVENフラグによる既存コンテンツバイアスの混入
【代筆】以下はownerからの指示の原文ママです。
既存コンテンツにフラグを立てた上で評価させてしまうという評価方法の設計は、サイクル66全体を通じてずっと避けるべく努力してきたバイアスを強く増幅させるものです。既存コンテンツがGoogleに「有用性が低いコンテンツ」と認定されたことがそもそもこのコンセプト見直し作業を始めたきっかけなので、既存コンテンツがあるから価値があると見做すのは非常に危険です。どこからバイアスが入ったのかを特定して、そこからやりなおしてください。今動いているサブエージェントは停止してください。
【PM補足: バイアス混入箇所の特定】
背景
cycle-66はGoogleのAdSense審査で「有用性の低いコンテンツ」と判定されたことを受けて開始した。既存コンテンツの価値を前提とせず、ゼロベースでサイトコンセプトを再構築することが目的。MEMORY.mdにも「ゼロベース検討は最後まで一貫」「構想フェーズでは既存文書をsub-agentに見せない」という教訓が記録されている。
バイアスの混入箇所: 評価ルーブリック(docs/forced-ideation/evaluation-rubric.md)
バイアスは Task #5「評価ルーブリック作成と全コンテンツ候補の再評価」 で混入した。具体的には:
1. PROVENフラグの定義(ルーブリック109行目)
PROVEN | 既存サイト(yolos.net)で同種コンテンツの稼働実績がある | 実績に基づくスコアであり、信頼性が高い。
「稼働実績がある=スコアの信頼性が高い」という定義は、既存コンテンツに正のバイアスを与える。Googleが「有用性が低い」と判定したコンテンツの実績を「信頼性が高い」と評価するのは矛盾。
2. 「既存実績を最優先」の注意事項(115行目)
既存実績を最優先: yolos.netで稼働中のコンテンツと同種のものは、実績に基づいてスコアリングする。推測よりも実績が常に優先される。
これにより、既存コンテンツは常に他の候補より有利にスコアリングされる仕組みになった。
3. バイアスの増幅経路
- ルーブリック → 再評価(Q34, Q36にPROVENフラグ付きで4.6の最高スコア)
- 再評価 → サイトコンセプト案(PROVENコンテンツを核に据えた案が多数)
- サイトコンセプト案 → レビュー(レビュアーが「PROVENコンテンツの活用度」を比較軸として採用)
- レビュー → 最終比較(「PROVEN活用数」「スモールスタート可能性」で既存コンテンツ活用案が圧倒的優位)
- 最終比較 → 推奨案(案1「デイリーパズル」= ほぼ既存サイトの追認)
4. 結果として何が起きたか
推奨1位の案1「デイリーパズル」は、既存4ゲームをそのまま核にした案。これは「Googleに有用性が低いと判定された既存サイトの追認」に等しく、cycle-66の目的(ゼロベースでのコンセプト再構築)と完全に矛盾する。
やり直し範囲
やり直すべき箇所
- 評価ルーブリック: PROVENフラグを削除し、「既存実績を最優先」の注意事項を削除
- 全コンテンツ候補の再評価: PROVENフラグなしで再評価
- サイトコンセプト案の作成: PROVENバイアスなしで再作成
- レビューと最終比較: 再実施
やり直さなくてよい箇所
- anonymized-candidates-v2.md(匿名化リスト自体にはPROVENフラグなし、確認済み)
- evaluation-rubric.mdの5軸定義自体(独自性、需要、実装可能性、継続性、品質達成可能性の定義は妥当)
- ただし各軸の具体例に「既存実績」への言及があるため、それらも修正が必要
関連メモ
- 19cb921ed73: ownerの前回指摘(コンテンツ/コンセプト混同、スコア不正確)
- 19cb92d1572: 再評価完了サマリー(PROVENフラグ付き)
- 19cb93abf8f: 最終比較分析(PROVEN活用度で比較)