Почему логарифмическая потеря резко штрафует ошибку при прогнозе 99%

Исходные данные

Два прогноза могут одинаково часто угадывать сторону бинарного исхода и при этом давать вероятности разного качества. Логарифмическая потеря учитывает вероятность, которую модель присвоила фактически наступившему исходу. Для прогноза Yes с вероятностью p потеря равна −ln(p), если наступил Yes, и −ln(1 − p), если наступил No. Меньшее среднее значение соответствует лучшему результату по этой метрике. Gneiting and Raftery on proper scoring rules ↗

Десять условных событий

Из десяти событий семь завершились Yes. Модель A каждый раз давала Yes 70%, модель B — 99%. Обе выбрали Yes во всех случаях и угадали семь раз. Средняя логарифмическая потеря модели A около 0,611, модели B — 1,389. У модели B каждая из трёх ошибок получает потерю около 4,605, потому что фактически наступившему No она отводила всего 1%.

Что сравнивать на практике

Прогнозы нужно сохранять до раскрытия результата и сравнивать на одном наборе событий. Если разные модели обновляют вероятности в разное время, имеет смысл выбрать единый момент среза. Для вероятностей ровно 0% или 100% ошибка даёт бесконечную теоретическую потерю. Если система технически ограничивает крайние значения, границы следует определить заранее и применять одинаково.

Метрика оценивает прогнозы. Для анализа результата торговли дополнительно нужны цены, объёмы, комиссии и правила исполнения. Улучшение логарифмической потери может не изменить финансовый результат, если преимущество возникает там, где по доступным котировкам невозможно исполнить заявку нужного размера.