万能理論＝イエスマン
true/falseとpositive/negativeの話。
まずは表から。
| true | false | |
|---|---|---|
| positive | 1. | 2. |
| negative | 3. | 4. |
- 検出されるべきものが検出された。
- 検出されるべきでないものが検出された。
- 検出されるべきものが検出されない。
- 検出されるべきでないものが検出されない。
万能理論。
万能理論が生まれる背景には
- 理論の優劣は1.の大きさによって決まる。
という誤解がある。
評価関数はpositive/negativeにのみ影響する、という外部観測的な問題を考えてみよう。true/falseの比率が変わることはないのだから、true/falseを評価するまでもなく、すべての事例にpositiveを返す評価関数のときに1.が最大になる。
もちろん。
重要なのは想定と実践の対照が取れているかどうかである。その内容が正しいかどうかではない。
もっとまともな判定基準として
- 理論の優劣は1.と4.の和の大きさによって決まる。
というものがある。これはtrue=>positive, false=>negativeという「正しい」評価関数のものを最優秀と判定することが明らかだ。
さらに詳しい判定基準ならば
- 理論の優劣は2.と3.に重率を掛けた和の小ささによって決まる。
というものもあるだろう。この重率は用途によって決まる。
