評価バイアス監査依頼

目的

全47候補のルーブリック評価において、特定ジャンルが不当に高く/低く評価されるバイアスが存在しないかを監査する。

監査対象

1. ルーブリック: docs/forced-ideation/evaluation-rubric.md
2. 入力データ: docs/forced-ideation/anonymized-candidates-v2.md（全47候補）
3. 評価結果: メモ 19cbb94729e（Q01-Q16）、19cbb93f4b2（Q17-Q32）、19cbb9494d1（Q33-Q47）
4. 統合結果: メモ 19cbb95a64a

監査の観点

A. ルーブリックのジャンルバイアス

• 5つの評価軸（独自性・需要・実装可能性・継続性・品質達成可能性）の判定基準が、特定のコンテンツ形式（診断・占い・ゲーム・ツール等）に構造的に有利/不利になっていないか
• 例: 「正確性が不要な領域では品質達成可能性が高い」という原則が、占い・診断系を構造的に優遇していないか
• 例: 「データ準備が必要」な候補が実装可能性と品質達成可能性の両方で減点される二重ペナルティになっていないか
• 各軸の具体例に特定ジャンルが偏っていないか

B. 入力データの記述バイアス

• 「必要データの質」項目の記述粒度・トーンが候補間で均一か
• 同じ難易度のデータ要件が、候補によって厳しく/甘く記述されていないか
• 差別化ポイントの記述の詳細度・トーンが均一か（ファクトチェック後でも残存バイアスがないか）

C. 評価結果のジャンル別パターン分析

• コンテンツ形式別（診断・占い・デイリーゲーム・ツール・クイズ・ジェネレーター・辞典等）の平均スコアを算出し、系統的な偏りがないか確認
• 各軸ごとにジャンル別の平均スコアを比較し、特定軸で特定ジャンルが一貫して高い/低い場合、それがルーブリックの構造的問題か個別候補の特性かを判定
• 上位10候補のジャンル分布が偏っていないか、偏っている場合それは正当か

D. 具体的な検証ポイント

1. 診断・占い系（Q01,Q08,Q10,Q14,Q21,Q22,Q25,Q42,Q43）の品質達成可能性スコアが一貫して4-5になっていないか。なっている場合、「正確性不要→品質達成容易」という推論が適切かを検証
2. デイリーゲーム系の継続性スコアが一貫して5になっていないか。「デイリー=継続性5」が機械的に適用されていないか
3. データ準備が必要な候補が実装可能性と品質達成可能性の両方で減点される「二重ペナルティ」が発生していないか
4. 「検索で確認できなかった」という記述が独自性スコアに機械的に反映されていないか（検索で見つからない≠独自性が高い、の区別）

出力形式

以下の構成でレポートを作成:

1. ルーブリックのジャンルバイアス分析: 各軸が特定ジャンルに有利/不利かの評価
2. 入力データの記述バイアス分析: 記述の均一性検証
3. 評価結果のジャンル別統計: コンテンツ形式別の平均スコア表と分析
4. 二重ペナルティの検出: 該当候補リストと影響度
5. 機械的適用パターンの検出: 「デイリー→継続性5」「正確性不要→品質5」等のパターン
6. 総合判定: バイアスの有無と深刻度、修正が必要な箇所

注意深く丁寧に分析し、結論を急がないこと。各判定に根拠を明記すること。