Огляд машинного навчання гіперпараметра

Для будь-якої моделі нам потрібні деякі параметри, що допомагає забезпечити базу для вирішення проблеми / аналізу та оцінки моделі. Деякі з цих параметрів слід дізнатися з даних, а деякі ми маємо чітко визначити з нашого кінця. Параметри, які можна дізнатися з даних, не чітко визначені, називаються параметрами моделі. Параметр, який явно визначений користувачем, називається Гіперпараметри. Гіперпараметри також є параметрами лише моделі, але термін гіперпараметри використовуються в машинному навчанні, щоб їх можна було легко розрізнити і не плутати з параметрами моделі, які дізнаються з набору даних.

Що таке гіперпараметр машинного навчання?

Для більшості рамок машинного навчання гіперпараметри не мають чіткого визначення. Ці гіперпараметри керують базовою системою моделі, яка керує первинними (модальними) параметрами моделі. Спробуємо зрозуміти Гіперпараметри на наступному прикладі.

  • Налаштування скрипки дуже важливо, коли ви перебуваєте на етапі навчання, тому що в цей час ви створюєте зв’язки між різними почуттями. Вуха, пальці та очі все одночасно навчаються скрипці. Тепер на початку звикання до звуку скрипки в тонусі створює поганий смак звуку, який зіпсує весь досвід закоханості у процес навчання скрипки.
  • Ось чому тюнінг скрипки може дійсно допомогти одному в процесі вивчення скрипки. Таким же чином, гіперпараметр є своєрідною настройкою моделі машинного навчання, щоб дати правильний напрямок.
  • Гіперпараметри зазвичай визначаються перед застосуванням алгоритму машинного навчання до набору даних.
  • Тепер наступне завдання - яким повинен бути гіперпараметр та яким має бути його значення. Тому що треба знати, які струни потрібно настроїти, і як настроїти скрипку, перш ніж налаштувати її. Те саме стосується гіперпараметрів, нам потрібно визначити, що таке гіперпараметри та яке має бути його значення, в основному це залежить від кожної задачі та кожного набору даних.
  • Щоб зрозуміти це, давайте розглянемо перспективу оптимізації моделі.
  • У реалізації моделі машинного навчання оптимізація моделі відіграє важливу роль. Існує велика кількість галузей машинного навчання, які присвячені виключно оптимізації моделі машинного навчання. Як правило, вважається, що для оптимізації моделі нам потрібно змінити код, щоб помилка була мінімізована.
  • Однак є приховані елементи, які впливають на оптимізацію машинного навчання, яка знаходиться поза моделлю і має великий вплив на поведінку моделі. Ці приховані елементи називають гіперпараметрами, це критичні компоненти для оптимізації будь-якої моделі машинного навчання.
  • Гіперпараметри - це тонкі тюнери / налаштування, які контролюють поведінку моделі. Ці гіперпараметри визначені поза моделлю, але мають прямий зв’язок із продуктивністю моделі. Гіперпараметри можна вважати ортогональними для моделювання.
  • Критерії визначення гіперпараметра дуже гнучкі та абстрактні. Звичайно, існують такі гіперпараметри, як кількість прихованих шарів, ступінь навчання моделі, які добре встановлені, а також є деякі параметри, які можна розглядати як гіперпараметр для конкретної моделі, як, наприклад, контроль потужності моделі.
  • Існують шанси алгоритму перевиконати модель, якщо алгоритми навчаються безпосередньо через налаштування. Як зрозуміло, гіперпараметри не засвоюються / не налаштовуються через навчальний набір, тому для вибору гіперпараметрів використовується набір тесту чи валідації. В широкому плані ми встановлюємо різні значення гіперпараметра, те, що найкраще працює з набором тестування або перевірки, вважається нашим найкращим гіперпараметром.

Категорії гіперпараметра

Для різних типів наборів даних і відповідно до моделі ми можемо мати різні гіперпараметри для підвищення продуктивності моделі. Загалом гіперпараметри можна класифікувати на дві категорії.

  • Гіперпараметр для оптимізації
  • Гіперпараметри для конкретних моделей

Давайте обговоримо кожне з них.

1. Гіперпараметри для оптимізації

Як випливає з назви, ці гіперпараметри використовуються для оптимізації моделі.

  • Коефіцієнт навчання

Цей гіперпараметр визначає, наскільки новоспечені дані перевершать старі наявні дані. Якщо значення цього гіперпараметра високе, то вища швидкість навчання не оптимізує модель належним чином, оскільки є ймовірність, що вона перескочить мінімуми. З іншого боку, якщо рівень навчання сприймається дуже менше, то конвергенція буде дуже повільною.

Швидкість навчання відіграє вирішальну роль в оптимізації продуктивності моделі, оскільки в деяких випадках моделі мають сотні параметрів (параметри моделі) з кривою помилок, швидкість навчання визначатиме частоту перехресної перевірки з усіма параметрами. Крім того, важко знайти локальні мінімуми кривих помилок, оскільки вони, як правило, мають неправильні криві.

  • Розмір партії

Для прискорення навчального процесу навчальний набір розділений на різні партії. У випадку стохастичної процедури тренінгу моделі невелику партію тренують, оцінюють та розмножують так, щоб регулювати значення всіх ваших гіперпараметрів, це повторюється для всього навчального набору.

Якщо розмір партії більший, то це збільшить час навчання і вимагатиме більше пам'яті для обробки матричного множення. Якщо розмір партії менший, то при обчисленні помилок буде більше шуму.

  • Кількість епох

Епоха являє собою повний цикл даних, які повинні бути вивчені в машинному навчанні. Епохи відіграють дуже важливу роль в ітеративному процесі навчання.

Помилка перевірки вважається для визначення потрібної кількості епох. Можна збільшити кількість епох до тих пір, поки буде зменшено помилку перевірки. Якщо помилка перевірки не поліпшується для послідовних епох, це сигнал про припинення збільшення кількості епох. Він також відомий як рання зупинка.

2. Гіперпараметри для конкретних моделей

Деякі гіперпараметри задіяні в структурі самої моделі. Деякі з них такі.

  • Кількість прихованих одиниць

Важливо визначити ряд прихованих одиниць для нейронних мереж у моделях глибокого навчання. Цей гіперпараметр використовується для визначення здатності навчальної моделі. для складних функцій ми повинні визначити ряд прихованих одиниць, але майте на увазі, що це не повинно перевищувати модель.

  • Кількість шарів

Очевидно, що нейронна мережа з 3 шарами дасть кращі показники, ніж у 2 шарів. Збільшення більше ніж 3 не дуже допомагає в нейромережах. У випадку з CNN, все більша кількість шарів робить модель кращою.

Висновок

Гіпер Параметри визначаються явно перед застосуванням алгоритму машинного навчання до набору даних. Гіперпараметри використовуються для визначення складності моделі вищого рівня та здатності до навчання. Гіперпараметри також можуть бути налаштуваннями для моделі. Деякі гіперпараметри визначені для оптимізації моделей (розмір партії, швидкість навчання тощо), а деякі специфічні для моделей (Кількість прихованих шарів тощо).

Рекомендовані статті

Це посібник з машинного навчання гіперпараметрів. Тут ми обговорюємо огляд та що таке машинне навчання гіперпараметрів із його категоріями. Ви також можете переглянути наступні статті, щоб дізнатися більше -

  1. Вступ до машинного навчання
  2. Непідконтрольне машинне навчання
  3. Види алгоритмів машинного навчання
  4. Застосування машинного навчання
  5. Впровадження нейронних мереж
  6. Топ-6 порівнянь між CNN та RNN

Категорія:

Великі дані