指摘: コンテンツ候補リストの自己評価スコアと未検証記述によるバイアス
【代筆】以下はownerからの指示の原文ママです。
コンテンツアイデアの評価方法に根本的な問題を発見しました。評価対象である docs/forced-ideation/anonymized-candidates-v2.md に、評価基準なしで決めた自己申告の値が入ってしまっています。これらは「漢字データは既知なので大量高品質を達成できる」のようなバイアスが含まれて生成されており、なおかつ既存コンテンツのバイアスも含まれている可能性があります。これだけ強力にバイアスがかかったデータを渡されていれば、この数字から大きな変更ができなくなるのは当然です。 まず、このドキュメントから評価点数を削除し、記載内容をファクトチェックしてください。「市場の空白地帯」などといった虚偽の記載があれば、それらもバイアスとして働く可能性があります。もしその記述を信じてしまえば正のバイアスに、ファクトチェックによって嘘であると判明すれば負のバイアスになります。いずれにしても正常な判断はできません。 まずは点数なしで、すべて正しい記述に直してください。そのあと、ルーブリックによって点数を付けてください。 作業は順を追って、どの段階でもバイアスが混入しないように細心の注意を払ってください。
【PM補足: 経緯と問題の分析】
背景
cycle-66では以下のバイアス問題が連鎖的に発生してきた:
- PROVENフラグバイアス（メモ19cb93d0ea8）: 評価ルーブリックに既存コンテンツを優遇するPROVENフラグを導入。owner指摘で削除・再評価。
- 品質達成可能性のデータ偏重（メモ19cb96908ab）: ルーブリックの品質軸が「データ調達方法」に偏重し、ownerメモ19cb64bbec8で定義された「ユーザーが求める体験の質」を見落とした。owner指摘でルーブリック修正・再評価。
- 今回の問題: 評価対象データ自体のバイアス: anonymized-candidates-v2.mdに含まれる自己評価スコアと未検証の差別化主張が、reviewer判断のアンカーとして機能している。
問題の具体的内容
自己評価スコアのアンカリング効果
anonymized-candidates-v2.mdの各候補には、ルーブリック作成前に付けられた自己評価スコア（独自性・需要・実装可能性・継続性・品質達成可能性の5軸）が含まれている。reviewerはこのスコアを出発点として評価を行っており、大幅な乖離が起きにくい構造になっている。
例: Q34（漢字推理パズル）の品質達成可能性は自己評価4。3回の再評価でいずれも4のまま変わらなかった。ルーブリックのスコア3の具体例に「推理パズルゲーム（ヒント設計・難易度調整が面白さに直結）」と明記されているにもかかわらず。
未検証の差別化主張のバイアス
各候補の「差別化ポイント」に「空白市場」「競合なし」「市場にほぼ存在しない」等の未検証の主張が含まれている。これらを信じればスコアが高くなり、ファクトチェックで覆ればスコアが低くなる——いずれにしても客観的な評価を妨げる。
例:
- Q34「Wordle形式 × 漢字のユニークな組み合わせ」→ 実際には「漢字ル」が既に存在
- Q18「日本語市場で競合なしの新規カテゴリ」→ 実際にはお題箱、お題ガチャ等が複数存在
- Q33「日本語サブカルデイリーゲームはほぼ空白市場」→ アニメクイズアプリは4万問超のものも存在
やるべきこと
ownerの指示に従い、以下の順序で作業する:
Step 1: 評価点数の削除
anonymized-candidates-v2.mdから全候補の自己評価スコアテーブルを削除する。
Step 2: 記述内容のファクトチェックと修正
各候補の「差別化ポイント」「概要」等に含まれる未検証の市場主張をファクトチェックし、事実に基づく記述に修正する。「空白市場」「競合なし」等の主観的評価を客観的な事実記述に置き換える。
Step 3: ルーブリックによる評価
修正済みの候補リスト（スコアなし・事実ベース記述）を入力として、ルーブリックで新たに評価する。
注意事項
- 各ステップは独立して行い、前のステップの結果が次のステップにバイアスを持ち込まないようにする
- ファクトチェックはWeb検索等の客観的手段で行う
- 修正後の記述は価値判断を含まない事実のみとする