Вступ до машини з обмеженим набором Больцмана

Обмежена машина Больцмана - це метод, який може автоматично знаходити шаблони даних, реконструюючи наш вхід. Джефф Гінтон - засновник глибокого навчання. RBM - це поверхнева двошарова мережа, в якій перший є видимим, а наступний - прихованим шаром. Кожен окремий вузол видимого шару приєднується до кожного окремого вузла в прихованому шарі. Обмежена машина Больцмана вважається обмеженою, оскільки два вузли одного шару не утворюють з'єднання. RBM - це числовий еквівалент двостороннього перекладача. У прямому шляху RBM отримує вхід і перетворює його в набір чисел, що кодує вхід. На зворотному шляху він сприймає це як результат і обробляє цей набір входів і переводить їх у зворотному порядку, щоб сформувати введені входи. Супернавчена мережа зможе виконати цей зворотний перехід з високою вірогідністю. У два етапи вага і значення відіграють дуже важливу роль. Вони дозволяють RBM розшифровувати взаємозв'язки між вхідними даними, а також допомагають RBM вирішувати, які вхідні значення найбільш важливі для виявлення правильних виходів.

Робота машини з обмеженим набором Больцмана

Кожен окремий видимий вузол отримує низьке значення від вузла в наборі даних. На першому вузлі невидимого шару X утворюється добуток ваги і додається до зміщення. Результат цього процесу подається на активацію, яка виробляє потужність заданого вхідного сигналу або виходу вузла.

У наступному процесі кілька входів приєднаються до одного прихованого вузла. Кожен X поєднується з індивідуальною вагою, додавання продукту розбивається на значення і знову результат передається через активацію для отримання виходу вузла. На кожному невидимому вузлі кожен вхід X поєднується з індивідуальною вагою W. Вхід X має тут три ваги, що становить дванадцять разом. Вага, що утворюється між шаром, стає масивом, у якому рядки точні до вхідних вузлів, а стовпці задовольняються вихідним вузлам.

Кожен невидимий вузол отримує чотири відповіді, помножені на їх вагу. Додавання цього ефекту знову додається до значення. Це виступає каталізатором того, що може відбутися якийсь процес активації, і результат знову подається в алгоритм активації, який виробляє кожен вихід на кожен окремий вхідний сигнал.

Перша модель, отримана тут, - це Енергетична модель. Ця модель пов'язує скалярну енергію з кожною конфігурацією змінної. Ця модель визначає розподіл ймовірності за допомогою енергетичної функції наступним чином,

(1)

Тут Z - нормалізуючий фактор. Це функція розділення з точки зору фізичних систем

У цій енергетичній функції слідує логістична регресія, що на першому кроці буде визначено log. ймовірність, і наступна визначатиме функцію втрат як негативну ймовірність.

використовуючи стохастичний градієнт, де - це параметри,

модель на основі енергії із прихованим блоком визначається як "h"

Спостережувана частина позначається як "x"

З рівняння (1) рівняння вільної енергії F (x) визначається наступним чином

(2)

(3)

Негативний градієнт має таку форму,

(4)

Наведене рівняння має дві форми, позитивну та негативну форму. Термін позитивний і негативний не представлений знаками рівнянь. Вони показують ефект щільності ймовірності. Перша частина показує ймовірність зменшення відповідної вільної енергії. Друга частина показує зменшення ймовірності утворених зразків. Тоді градієнт визначають наступним чином,

(5)

Тут N - негативні частинки. У цій моделі на основі енергії важко визначити градієнт аналітично, оскільки він включає обчислення

Отже, в цій моделі EBM ми маємо лінійне спостереження, яке не в змозі точно зобразити дані. Отже, у наступній моделі з обмеженою машиною Больцмана, прихований шар має більш високу точність та запобігання втраті даних. Енергетична функція RBM визначається як,

(6)

Тут W - вага, що з'єднує видимий і прихований шари. b - зміщення видимого шару. c - зміщення прихованого шару. шляхом перетворення у вільну енергію,

У RBM одиниці видимого і прихованого шару повністю незалежні, що можна записати так,

З рівнянь 6 і 2 ймовірнісна версія функції активації нейрона,

(7)

(8)

Це далі спрощується в

(9)

Поєднуючи рівняння 5 і 9,

(10)

Відбір проб у машині з обмеженим набором Больцмана

Гіббсова вибірка суглоба N випадкових величин виконується через послідовність N під-етапів вибірки форми де

містить інші випадкові змінні в виключаючи

У RBM S - це набір видимих ​​і прихованих одиниць. Дві частини є незалежними, які можуть виконувати або блокувати вибірки Гіббса. Тут видима одиниця виконує вибірку і надає фіксованому значенню прихованим одиницям, одночасно приховані одиниці забезпечують фіксовані значення видимій одиниці шляхом вибірки

тут, встановлюється всі приховані одиниці. Приклад вибрано випадковим чином, щоб було 1 (проти 0) з вірогідністю, і аналогічно, випадковим чином обрано рівним 1 (проти 0) з вірогідністю

Контрастна розбіжність

Він використовується як каталізатор для прискорення процесу відбору проб
Оскільки ми сподіваємось на правду, ми розраховуємо значення розподілу має бути близьким до P, щоб воно утворювало конвергенцію до кінцевого розподілу P

Але контрастна розбіжність не чекає сходження ланцюга. Зразок отримують лише після процесу Гібба, тому ми встановлюємо тут k = 1, де він працює напрочуд добре.

Стійкий контрастний розбіжність

Це ще один метод форми наближення вибірки. Це стійкий стан для кожного методу відбору проб. Він витягує нові зразки, просто змінюючи параметри K.

Шари машини з обмеженим набором Больцмана

Обмежена машина Больцмана має два шари, неглибокі нейронні мережі, які поєднуються, утворюючи блок мереж глибокої віри. Перший шар є видимим шаром, а другий - прихованим шаром. Кожна одиниця відноситься до нейронного кола, званого вузлом. Вузли з прихованого шару з'єднані з вузлами видимого шару. Але два вузли одного шару не з'єднані. Тут термін "Обмежений" позначає відсутність внутрішньошарового зв'язку. Кожен вузол обробляє вхід і приймає стохастичне рішення, передавати вхід чи ні.

Приклади

Важливою роллю УЗМ є розподіл ймовірностей. Мови унікальні своїми літерами та звуками. Розподіл ймовірності листа може бути високим або низьким. В англійській мові широко використовуються літери Т, Е та А. Але в ісландській мові звичайні букви - це A і N., і ми не можемо спробувати відновити ісландську з вагою на основі англійської мови. Це призведе до розбіжності.

Наступний приклад - зображення. Розподіл вірогідності значення їх пікселя відрізняється для кожного виду зображення. Ми можемо врахувати, що є два зображення «Слона» та «Собаки» для вхідних вузлів, передній прохід RBM породжує питання, як я повинен створити сильний піксельний вузол для слонового вузла або собачого вузла ?. Тоді зворотній прохід породжує такі питання, як для слона, як я повинен розраховувати на розподіл пікселів? Тоді при спільній ймовірності та активації, що виробляються вузлами, вони побудують мережу із спільним виникненням як великі вуха, сіра нелінійна трубка, крихкі вуха, складка - це слон. Отже, RBM - це процес глибокого навчання та візуалізації, вони формують два основні ухили і діють на їхній сенс активізації та відновлення.

Переваги машини з обмеженим набором Больцмана

  • Обмежена машина Больцмана застосовується алгоритмом, який використовується для класифікації, регресії, моделювання тем, спільної фільтрації та вивчення функцій.
  • Обмежений апарат Больцмана використовується для нейровізуалізації, розрідженої реконструкції зображення в плануванні мін, а також для розпізнавання цілей радіолокатора.
  • RBM здатний вирішити незбалансовану задачу даних процедурою SMOTE
  • RBM знаходить пропущені значення шляхом вибірки Гібба, яка застосовується для покриття невідомих значень
  • RBM долає проблему шумних міток через некоректовані дані етикетки та помилки її відновлення
  • Проблема неструктурованих даних усувається витяжкою функцій, яка перетворює необроблені дані в приховані одиниці.

Висновок

Глибоке навчання є дуже потужним, це мистецтво вирішення складних завдань, воно все ще є простором для вдосконалення та його складного втілення. Безкоштовні змінні повинні бути налаштовані обережно. Ідеї ​​нейронної мережі були важкими раніше, але сьогодні глибоке навчання - це підніжжя машинного навчання та штучного інтелекту. Отже, RBM дає уявлення про величезні алгоритми глибокого навчання. Він стосується основної одиниці композиції, яка прогресивно переросла у багато популярні архітектури та широко використовується у багатьох великих масштабах.

Рекомендована стаття

Це було керівництвом до машини з обмеженим доступом Больцмана. Тут ми обговорюємо його роботу, вибірку, переваги та шари машини з обмеженим набором Больцмана. Ви також можете ознайомитися з іншими запропонованими нами статтями, щоб дізнатися більше _

  1. Алгоритми машинного навчання
  2. Архітектура машинного навчання
  3. Види машинного навчання
  4. Інструменти машинного навчання
  5. Впровадження нейронних мереж

Категорія:

Великі дані