健全性（soundness）と完全性（completeness）
ある特徴・性質Cを満たすモノを識別／生成するために提案・構築された手法Mがある。
手法Mの出力の集合をOm、特徴・性質Cを満たすモノの集合をOcとしたとき、
- OmがOcの部分集合である → 手法Mは健全（sound）である。
- つまり、手法Mで識別／生成された結果は必ず性質Cを満たしている。
- でも、手法Mですべての性質Cを識別／生成できるとは保証していない。
- OcがOmの部分集合である → 手法Mは完全（complete）である。
- つまり、手法Mですべての性質Cを持つモノを識別／生成できる。
- でも、手法Mで識別／生成された結果が必ず性質Cを満たしていることは保障していない。
- OcとOmが等しい → 手法Mは健全であり、完全である。
- 手法Mで識別／生成された結果は必ず性質Cを満たしている。
- さらに手法Mですべての性質Cを持つモノを識別／生成できる。
真陽性、偽陽性、真陰性、偽陰性
ある特徴・性質cを満たすモノを識別／生成するために提案・構築された手法Mがあるとする。
理想的には手法Mは健全か完全、あるいは健全かつ完全であることが好ましいが、実際のところそういう手法を開発するのは難しい。実際のところは、以下の図のように、手法Mによって特徴・性質Cを満たすモノの一部を識別／生成できるが、すべてを識別／生成できるわけではない。しかも、特徴・性質Cを満たさないモノについても手法Mは誤って識別／生成してしまう。
- 真陽性（true positive, TP）：手法Mによって「性質Cを満たす」と判定され、かつ、本当に性質Cを満たしている
- 偽陽性（false positive, FP）：手法Mによって「性質Cを満たす」と判定されるが、実際は、性質Cを満たしていない
- 真陰性（true negative, TN）：手法Mによって「性質Cを満たさない」と判定され、かつ、本当に性質Cを満たしていない
- 偽陰性（false negative, FN）：手法Mによって「性質Cを満たさない」と判定さるが、実際は、性質Cを満たしている
| 性質Cを満たす | 性質Cを満たさない | |
| 手法Mでは「満たす」判定 | 真陽性 | 偽陽性 |
| 手法Mでは「満たさない」判定 | 偽陰性 | 真陰性 |
正解率・精度、適合率、再現率・感度、特異度、F値
機械学習で使われる尺度は以下のリンクの通り。
ibisforest.org
- 正解率・精度（accuracy） = (真陽性 + 真陰性）／ （真陽性 + 真陰性 + 偽陽性 + 偽陰性）
- 適合率・精度（precision） = 真陽性 / (真陽性 + 偽陽性) = 手法Mが「満たす」と正しく判定出来た数 ／ 手法Mの判定結果の総数
- 再現率（recall）・感度（sensitivity) = 真陽性 / (真陽性 + 偽陰性) = 手法Mが「満たす」と正しく判定出来た数 ／性質Cを満たすモノの総数
- 特異度 (specificity) = 真陰性 / (真陰性 + 偽陽性) = 手法Mが「満たさない」と正しく判定出来た数 ／性質Cを満たさないモノの総数
- F値 = (2 × 適合率 × 再現率）／ （適合率 ＋ 再現率）
健全性と完全性と機械学習の尺度の関係
手法Mが健全であるということは、偽陽性になることがないということ。
よって、適合率と特異度が1となる。
手法Mが完全であるということは、偽陰性になることがないということ。
よって、再現率・感度が1となる。
手法Mが健全かつ完全であるということは、偽陽性にも偽陰性にもなることがないということ。
よって、正解率が１、適合率が1、再現率が1、特異度が1、F値が1となる。
機械学習で使われる尺度と検査
手法Mがガン検診の方法、性質Cが当該のガンであるという性質の場合。「1滴の血液から13種類のがんいずれかの有無を99％の精度で検出できる」という説明が何の尺度について話しているの？そもそも、ガンである人の総数が分かるの？（真陽性、真陰性、偽陽性、 偽陰性の数が求められるの？）という話。
natrom.hatenablog.com
