ROC-анализ

Вопрос 8. Ошибки первого и второго рода. ROC-анализ

Ошибка первого рода – относительное число истинно позитивных заключений, True Positive

Ошибка второго рода – относительное число ложно позитивных заключений, False Positive

Альтернативные оценки:

· относительное число ложно позитивных заключений, False Positive

· относительное число ложно негативных заключений, False Negative

ROC-кривая (Receiver Оperating Сharacteristic) выражает соотношение уровня верных (TP) и ложных обнаружений (FP). При этом предполагается, что у классификатора имеются некоторые параметры, варьируя которые, мы будем получать то или иное разбиение на два класса. Этот параметр - порог (точкая отсечения(cut-off value), threshold и …). В зависимости от его значений будут получаться различные величины ошибок I и II рода. Построение кривой ROC обычно производится путем варьирования параметров классификатора и фиксации получающихся TP и FP.

Множество параметров, определяющих функционирование алгоритмов СОВ, называются операционными точками СОВ.

При настройке операционных точек СОВ могут существовать различные значения TP и FP

ROC – ReceiverOperatorCharacteristic

В результате ROC -анализа строится ROC -кривая, которая показывает количество верно классифицированных положительных примеров по сравнению с неверно классифицированным отрицательным примерам.

Все сводится к следующим параметрам (производные метрики):

· Чувствительность системы – доля верно классифицированных положительных случаев:

· Специфичность – доля верно классифицированных отрицательных случаев:

Если кривая идет строго выше и левее, то система лучше. Если нет – то сказать ничего нельзя.

Чем выше кривая к левому верхнему углу, тем лучше.

Если диагональ, то это просто бросание монетки.

Для ROC-анализ вместо FP и TP можно использовать Seи Sp.

Как выполнять анализ? Выбирают точку на кривой и относительно этой точки сравнивают специфичность. Чем выше специфичность, тем лучше.

Выбирается точка на кривой так, чтобы значения по xи yбыли максимальными.

Требования баланса между специфичностью и чувствительностью. Берется дельта и делается так, чтобы разница между специфичностью и чувствительностью была меньше.

Дата добавления: 2014-01-15