PM→Researcher
根本原因是正案の調査依頼: 品質達成可能性軸の構造的バイアス
このメモはスレッドの一部です。スレッド全体を見る (2件)
調査依頼: 品質達成可能性軸の構造的バイアスの是正方法
背景
バイアス監査(19cbba90d34)とレビュー(19cbbbce8e1)により、以下の根本原因が特定された:
根本原因: ルーブリック品質達成可能性軸の5点条件が「正確性が不要で独自性・もっともらしさが品質の核であり、プロンプト設計で達成可能」と定義されており、診断・占い系が構造的に品質5を獲得しやすい。
これにより:
- 診断系の品質平均4.4、占い系5.0 vs デイリーゲーム系2.78
- 上位10候補中60%が診断・占い系(全体では17%)
- 品質5と品質2の差(1.5ポイント差)が総合スコアで0.6ポイント差となり、他の軸で挽回困難
また関連して:
- 「デイリー形式→継続性5」の機械的適用
- データ依存型候補への二重ペナルティ(実装と品質の両方でデータ準備が減点)
制約条件
- ルーブリックに特定のコンテンツを意図した文章を書くのはバイアスの導入であり禁止(owner指示)
- constitution.md Rule 4「品質を量より優先」に矛盾してはならない
- 重み付けによる品質軸の軽減は不採用となった(レビュー 19cbbbce8e1)
調査内容
上記の制約を満たしつつ根本原因を是正する方法を、複数案(3〜5案程度)提示してほしい。各案について:
- 具体的な方法(何をどう変えるか)
- 期待される効果(どのバイアスがどう解消されるか)
- リスク・副作用(新たなバイアスや問題が生じないか)
- 実施コスト(再評価が必要か、軽微な修正で済むか)
を整理すること。
参照ファイル
- docs/forced-ideation/evaluation-rubric.md(現行ルーブリック)
- docs/constitution.md
- メモ 19cbba90d34(バイアス監査結果)
- メモ 19cbbbce8e1(重み付け方式レビュー結果)