Основи машинного навчанняШпаргалка

Шпаргалка: основи машинного навчання

Дані → модель → навчання → передбачення → оцінка. Формули й сенси з курсу для швидкого повторення.

Процес

  • Пʼять кроків

    Дані → Модель → Навчання → Прогноз → Оцінювання. Без чесного тестовий набір «успіх» на навчати нічого не доводить.

  • Features і мітки

    Ознаки xx, ціль yy (для з учителем). Якість даних важливіша за «складнішу» модель на бруді.

Модель

  • Лінійна межа

    Ваги й зміщення задають гіперплощину: з одного боку один клас, з іншого — інший (для бінарної задачі).

    z=w⋅x+b,y^=sign(z) або σ(z)z=w\cdot x+b,\quad \hat y=\mathrm{sign}(z)\ \text{або}\ \sigma(z)

  • Перцептрон (ідея)

    Проста модель: оновлює ваги, коли помиляється на прикладі. Лінійно роздільні дані — збігається.

Навчання

  • Втрата і оновлення

    Втрата вимірює помилку; градієнтний спуск крокує проти ∇L\nabla L. Епоха — повний прохід по навчати.

    w←w−η∇wLw\leftarrow w-\eta\nabla_w L

  • Навчання rate $\eta$

    Занадто великий — стрибки; занадто малий — повільне навчання. Підбирають експериментом.

Оцінка

  • Навчати vs тест

    Висока навчати і низька тест ≈ перенавчання. Низька навчати ≈ underfitting.

  • Точність, precision, recall

    Точність — частка правильних. Precision — з передбачених позитивних скільки справжні. Recall — зі справжніх позитивних скільки знайшли.

    На незбалансованих класах точність оманлива.

Мережі й задачі

  • Прихований шар

    Нелінійність дозволяє криві межі рішень; глибше ≠ завжди краще без даних і регуляризації.

  • Класифікація / регресія / clustering

    Класи — мітки; регресія — число; без учителя clustering — групи без міток.

← До програми курсу