Тут опять ROC-анализ!

В результате рок-анализа строится ROC-кривая, которая показывает количество верно классифицированных положительных примеров по сравнению с неверно классифицированным отрицательным примерам.

Все сводится к следующим параметрам:

Первая – чувствительность системы. Второе – специфичность.

Если кривая идет строго выше и левее, то система лучше. Если нет – то сказать ничего нельзя.

Чем выше кривая к левому верхнему углу, тем лучше.

Если диагональ, то это просто бросание монетки.

Для рок-анализ вместо fpи tpможно использовать seи sp.

Как выполнять анализ? Выбирают точку на кривой и относительно этой точки сравнивают специфичность. Чем выше специфичность, тем лучше.

Выбирается точка на кривой так, чтобы значения по xи yбыли максимальными.

Требования баланса между специфичностью и чувствительностью. Берется дельта и делается так, чтобы разница между специфичностью и чувствительностью была меньше.

Анализ рисков. Показываем коэффициентами, какие ошибки страшнее – первого или второго рода.

В нормальных системах ошибки первого рода стремятся к нулю, а второго – больше.

Выводы.

1. Мы не получили единой интегральной оценки.
2. Рост PPV и NPV связан с ростом false positive и false negative.
3. При малом Bрешающее влияние на PPVоказывают falsepositive’ы.
4. По отношению к falsenegativePPV не так чувствителен.

Дата добавления: 2014-01-15