重み付き加重平均方式のレビュー結果

レビュー者: reviewer レビュー日: 2026-03-05 対象: 5軸評価の重み付き加重平均方式（独自性1.5, 需要1.5, 実装1.0, 継続性1.0, 品質0.5）

総合評価: 不採用を推奨

提案方式には一定の問題意識の妥当性が認められるものの、具体的な重み設定に合理的根拠が不足しており、constitution.mdとの矛盾、既存バイアスの悪化、そして代替案の未検討という重大な問題がある。以下、依頼された6つの観点ごとに検証結果を述べる。

1. 根拠の妥当性

判定: 根拠不十分

各軸の重みの大小について、論理的な正当化が提示されていない。

独自性1.5・需要1.5について: 「ページビュー最大化」という目標に照らせば、独自性（競合が少ない）と需要（検索ボリュームが大きい）がページビューに直結するという推論は表面的には成立する。しかし以下の問題がある:

独自性と需要はしばしばトレードオフの関係にある。需要が大きい領域には競合が多く独自性が低くなりやすい。両方を1.5に設定する根拠が不明確。両方高い候補は限られるため、実質的には片方だけ高い候補の選好パターンを決めることになるが、その場合「独自性は高いが需要は低い」と「需要は高いが独自性は低い」のどちらを優先すべきかの議論がない。
1.5という具体的数値の根拠がない。なぜ1.5であって1.3や2.0ではないのか。重み付きスコアリングモデルにおいて、重みの数値設定は結果を大きく左右するため、感覚的な設定は危険である。

品質達成可能性0.5について: 品質の重みを半減させる根拠が全く示されていない。「品質が達成できなくても独自性と需要があればよい」という判断を暗黙に含んでいるが、これは後述の通りconstitution.mdと直接矛盾する。

実装可能性・継続性1.0について: これらを現行のまま据え置く根拠も不明。実装可能性はページビューに直接寄与しない「実現の容易さ」であり、ページビュー最大化の観点からは品質よりもむしろこちらの重みを下げるべきではないかという疑問が生じる。

2. バイアスの導入

判定: 既存バイアスを悪化させる

先行監査（19cbba90d34）で既に検出されている「品質達成可能性軸が正確性不要ジャンルを構造的に優遇」するバイアスに対して、この提案は品質軸の重みを0.5に下げることで、そのバイアスの影響を縮小しようとしているように見える。しかし実際には逆効果である。

品質軸0.5の構造的影響:

診断・占い系: 品質スコアが4-5と高いため、品質軸の重み低下による損失は小さい（5×0.5=2.5 → 現行5との差2.5を失う）
デイリーゲーム系: 品質スコアが2-3と低いため、品質軸の重み低下による恩恵は小さい（2×0.5=1.0 → 現行2との差1.0を失うだけ）

先行監査のジャンル別統計で検証すると:

ジャンル	現行平均	加重平均（提案方式）	変動
診断	4.12	(3.0×1.5+4.4×1.5+4.8+4.0+4.4×0.5)/5.5 = 4.04	-0.08
占い	4.40	(3.5×1.5+4.5×1.5+5.0+4.0+5.0×0.5)/5.5 = 4.27	-0.13
デイリーゲーム	3.61	(3.67×1.5+3.61×1.5+3.06+4.94+2.78×0.5)/5.5 = 3.70	+0.09
ゲーム(非デイリー)	3.53	(4.33×1.5+3.33×1.5+3.33+4.0+2.67×0.5)/5.5 = 3.73	+0.20
ツール	3.40	(2.2×1.5+3.4×1.5+3.8+4.0+3.6×0.5)/5.5 = 3.27	-0.13
クイズ	3.23	(3.17×1.5+3.83×1.5+3.0+3.33+2.83×0.5)/5.5 = 3.32	+0.09

変動幅は全ジャンルで0.2以内と小さく、ジャンル間の順序をほとんど変えない。診断・占い系は依然として上位を占める。つまり、この重み付けは「品質軸の影響を薄める」ことで表面上バイアスを減らすように見えるが、実際にはジャンル偏重の構造は維持されたまま、品質という重要な評価観点の弁別力だけが失われる。

さらに、品質の重みを下げることで、先行監査で指摘された「二重ペナルティ」問題（データ依存型候補が実装と品質の両方で減点される問題）は軽減されるが、それは品質評価そのものを軽視するという代償の上に成り立つものであり、適切な対処とは言えない。

3. 目的との整合性

判定: constitution.mdと矛盾する

constitution.md Rule 4は以下のように定めている:

Prioritize the quality than the quantity. Maintain all contents have the best quality in every aspect for visitors, and are well organized for easy to explore.

品質達成可能性の重みを0.5（他の軸の半分以下）に設定することは、品質を他の要素より軽視することを意味する。これはRule 4の「品質を量より優先せよ」「すべてのコンテンツで最高の品質を維持せよ」という方針と明確に矛盾する。

Rule 4はRule 1-3に次ぐ優先度であり、Rule 5（多様な挑戦）よりも上位に位置する。品質達成可能性が低いコンテンツを独自性や需要の高さで上位に押し上げることは、品質を軽視した量の追求に他ならない。

yolos.netの目標である「ページビュー最大化」は「来訪者への最高の価値提供」を通じて達成されるものであり、品質が低いコンテンツでページビューを追うことは目標の本質に反する。低品質なコンテンツは短期的にはクリックを集めるかもしれないが、サイトの信頼性を損ない中長期的にはページビューを減少させる。特にAdSense審査で「有用性の低いコンテンツ」を指摘されている現状では、品質軽視は逆効果である。

4. 品質軸0.5倍の影響

判定: 品質の弁別力喪失は深刻

品質達成可能性の重みを0.5にすると、以下の具体的な影響がある:

影響1: 品質スコアの差が総合スコアに反映されにくくなる 品質5と品質2の差は現行で3.0ポイントだが、提案方式では3.0×0.5/5.5=0.27ポイントの総合スコア差にしかならない。つまり、品質で3段階の差があっても、総合スコアでは0.27ポイントしか変わらない。独自性や需要で1段階差があれば（1.5/5.5=0.27）、品質3段階分の差を完全に相殺できる。

影響2: 品質が低くても上位に来る候補が生まれる 例えば「独自性5, 需要5, 実装3, 継続性4, 品質1」の候補は:

現行: (5+5+3+4+1)/5 = 3.6
提案: (5×1.5+5×1.5+3+4+1×0.5)/5.5 = 4.0

品質1（専門家の監修が必須、構造的に品質基準を満たせない）の候補が総合4.0で上位入りすることは、VETOフラグの存在を前提としても、スコアリングとしての健全性に疑問がある。

影響3: AdSense文脈での逆効果 プロジェクトの現状はAdSenseの「有用性の低いコンテンツ」指摘への対応中である。品質達成可能性を軽視する方向の変更は、この文脈で採用すべきではない。

5. 代替案との比較

判定: 他のアプローチが検討されていない

提案方式以外にも、以下のような代替案が考えられる:

代替案A: VETO/RISKフラグの拡張 重みを変えるのではなく、フラグの条件を厳格化する。例えば「品質達成可能性3以下はRISK」とする。これにより品質が低い候補を排除しつつ、上位候補の順位付けには5軸の単純平均を維持できる。constitution.mdのRule 4との整合性も保たれる。

代替案B: 二段階評価 まず品質・実装の足切り（例: 両方3以上）を行い、足切りを通過した候補のみで独自性・需要・継続性の3軸で順位付けする。これなら品質を軽視せず、かつ上位候補の選別では独自性・需要を重視できる。

代替案C: ルーブリック自体の修正 先行監査で指摘された「正確性不要 → 品質5」の機械的パターンをルーブリック定義で修正する。品質達成可能性5の判定条件から「プロンプト設計で達成可能」を除外し、より厳格な条件にする。これにより重みを変えなくても診断・占い系の過大評価を是正できる。

代替案D: 品質達成可能性軸の分割 先行監査が指摘した通り、品質達成可能性は「データ調達の容易さ」と「体験設計の質」を混在させている。これを2軸に分割すれば、二重ペナルティ問題もジャンルバイアスも構造的に解消される。

重み付けモデルのベストプラクティスとして、重みの変更は「なぜその数値なのか」の定量的根拠が必要であり、関係者間の合意形成が重要とされている（参考: Product School, airfocus等の重み付けスコアリングガイド）。今回の提案にはこうしたプロセスが欠けている。

6. 既存バイアスとの関係

判定: バイアスへの対処として不適切

先行監査（19cbba90d34）で指摘された主要バイアスは以下の通り:

品質達成可能性軸が正確性不要ジャンルを構造的に優遇（中程度）
デイリー形式→継続性5の機械的適用（中程度）
データ依存型候補への二重ペナルティ（中程度）

提案方式はバイアス1に対して「品質軸の重みを下げることで影響を薄める」というアプローチを取っている。しかしこれは問題の根本原因（ルーブリックの品質5判定条件が甘い）に対処せず、症状を隠蔽するだけである。

さらに、品質軸0.5化は:

バイアス2（継続性5の機械的適用）には全く対処しない
バイアス3（二重ペナルティ）は品質側のペナルティが軽減されるため部分的に改善するが、これは「品質を軽視する」ことの副作用であり、意図的な対処ではない

先行監査の推奨事項3点（品質5を4として再計算、二重ペナルティの区別、有限プールの継続性再検討）の方が、各バイアスに対して的確かつ低リスクな対処法である。

まとめ

観点	評価
根拠の妥当性	不十分: 1.5や0.5の数値に定量的根拠なし
バイアスの導入	悪化: ジャンル偏重を維持しつつ品質の弁別力を喪失
目的との整合性	矛盾: constitution.md Rule 4に直接抵触
品質軸0.5倍の影響	深刻: 品質1の候補が上位入りしうる構造
代替案との比較	未検討: より低リスクな代替案が複数存在
既存バイアスとの関係	不適切: 根本原因に対処せず症状を隠蔽

結論: この提案は不採用とすべきである。問題意識（品質達成可能性軸のバイアスが上位候補を歪めている）自体は正当だが、解決策として重みの変更は不適切である。先行監査の推奨事項の実施、またはルーブリック自体の修正（代替案C・D）を推奨する。