Вступ до алгоритму підвищення градієнта
Техніка переходу студентів, що проходять тиждень, у сильних учнів, називається стимулюючою. Процес алгоритму підвищення градієнта працює на цій теорії виконання. Алгоритм прискорення адаптування може бути зображений для пояснення та легкого розуміння процесу, завдяки якому прискорення вводиться до наборів даних.
Дерево рішень
Дерево рішень - це інструмент підтримки вердикту, який визначає рішення, маючи на увазі деревоподібні та їхні ймовірні наслідки, а також результати можливих подій, витрати на ресурси тощо. Цей прийом дозволяє їм відображати контрольні заяви, які працюють на умовних результатах.
Дослідницькі операції широко використовують ці дерева рішень спеціально для аналізу рішень, вони також дозволяють досягти мети, а також є захопленим інструментом у машинному навчанні.
Алгоритм AdaBoost
Алгоритм AdaBoost починається з підготовки дерева рішень, в якому кожному спостереженню присвоюється еквівалентна вага. Оцінивши первинне дерево, ми збільшуємо ваги цієї інтерпретації, які складні для категоризації та підпорядкування ваг для тих, що їх легко класифікувати. Друге дерево, як результат, розроблене на основі цих упереджених даних. Тут дизайн повинен бути кращим за пророцтво первинного дерева.
Потім обчисліть похибку категоризації з цієї інноваційної моделі колекції з двох дерев та обробіть третє дерево, щоб передбачити модифіковані залишки. Вищеописана процедура повторюється в декількох випадках. Спостереження, які не були чітко визначені на попередніх деревах, визначаються за допомогою наступних дерев. Отже, передбачення завершальної моделі складання - це упереджений показник прогнозів, що закінчуються попередніми моделями дерев.
Навчальна модель GBM
Для вказівки моделі gbm мовою R слід встановити бібліотеку GBM і викликати цю встановлену бібліотеку GBM з програми виклику. Також потрібно вказати необхідні аргументи, ключові аргументи наведені нижче,
1. Формула
2. Розподіл змінних відповідей
3. Змінна прогноза
4. Змінна відповіді
Звичайні дистрибутиви, які використовуються в моделях GBM, - це Бернуллі, Пуассон тощо.
Нарешті, очікується, що дані та аргументи n.trees будуть визначені. За замовчуванням модель gbm сприймає як належне 100 дерев, що може запропонувати гарне наближення якості концерту нашого gbm.
Зразок коду №1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Ось наступний крок: фактичний набір даних поділяється на розбиття набір даних поїздів і тестів, і це досягається за допомогою функції createDataPartition (). Цей вид розщеплення буде дуже корисним у пізнішій частині для підготовки тестового набору з використанням підготовленого набору поїздів, і вище цього, де визначаються фактичні прогнози вихідних даних.
Зразок коду №2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
Подальший крок - тренувати модель gbm за допомогою нашого тренувального програми. Хоча всі додаткові аргументи - це саме те, про що було повідомлено у вищезазначених розділах. згадуються ще два додаткові аргументи - взаємодія, глибина та усадка.
1. Глибина взаємодії промальовує максимальну глибину кожного дерева
2. Вимірювання швидкості інтелекту досягається за допомогою усадки. тут усі додаткові значення в базових деревах учнів зменшуються за допомогою цієї усадки.
Більше того, ця методика дозволяє відображати контрольні заяви, які діють на умовних результатах. Дослідницькі операції широко використовують ці дерева рішень спеціально для аналізу рішень. Це також дозволяє нам досягти мети, а також є захопленим інструментом у машинному навчанні.
Модель GBM Вихід
Вихід моделі GBM містить відомості про загальну кількість дерев, що мають на увазі виконання. Це допоможе передбачити вплив змінної предиктора на модель, також таблиця важливості змінної та графік моделі можуть бути отримані з підсумкової функції виводу ГБМ.
Метод прогнозування () за допомогою моделі GBM
Отже, щоб зробити прогнози у верхній частині введених тут даних моделі GBM, як і в інших моделях, передбачається метод прогнозування. Крім того, в розділі аргументу методу потрібно вручну згадати підрахунок загальної кількості дерев, що використовуються.
Зразок коду
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Вдосконалення моделі GBM
Обмеження дерева
- Важливо, що слабкі студенти охоплюють навички, але залишаються слабкими.
Зважені оновлення
- Послідовне додавання застосовується з передбачень кожного дерева
- Пожертвування кожного дерева на цю суму має бути масовим, щоб уповільнити навчання алгоритму. цей процес називається усадкою.
Алгоритм збільшення стохастичного градієнта
Цей еквівалентний прибуток може бути використаний для зменшення асоціації з боку дерев.
Алгоритм посилення градієнта
Параметризовані дерева можуть бути заповнені додатковими обмеженнями, класичне дерево рішень не може використовуватися як слабкі учні. Натомість використовується індивідуальне дерево, яке називається деревом регресії, яке має числові значення у вузлах листків.
Рекомендовані статті
Це було керівництвом алгоритму підвищення градієнта. Тут ми обговорюємо вступ, дерево рішень, алгоритм AdaBoost, модель навчання GBM, вдосконалення моделі GBM, а також деякий зразок коду. Ви також можете ознайомитися з іншими запропонованими нами статтями, щоб дізнатися більше -- Алгоритм дерева рішень
- Алгоритми машинного навчання
- Алгоритм XGBoost
- Алгоритми наукових даних
- Алгоритм C ++ | Приклади алгоритму С ++
- Реалізація Пуассонової регресії в R