Функція втрат (loss function), машинне навчання вики, fandom powered by wikia
Функції втрат в задачах бінарної класифікації Правити
У задачах класифікації найбільш природним вибором є порогова функція втрат Така функція втрат розривна, мінімізація емпіричного ризику виявляється складним завданням комбінаторної оптимізації. Тому використовуються різноманітні їх безперервні апроксимації.
У завданнях регресії найбільш типовим вибором є квадратична функція втрат (MSE)
Основна перевага методу: це конструктивний і універсальний підхід, що дозволяє зводити задачу навчання до завдань чисельної оптимізації.
Основний недолік - явище перенавчання.
Функції втрат, які породжують оптимальні ваги, що залежать від частини вибірки Правити
Такою є кусочно-лінійна функція втрат (або hinge loss). Вона просто зануляют на тих об'єктах, які досить далеко від розділяє поверхні. Завдання оптимізації в SVM можна також переписати, використовуючи hinge loss.