Вступ до архітектури Hadoop Пряжа
MapReduce використовувався для керування ресурсами та обробки в попередній версії 1.0 Hadoop. Тут Job Tracker здійснив розподіл ресурсів, планування та моніторинг завдань, призначивши карту та зменшивши завдання для відстеження завдань. Це призвело до таких питань, як масштабованість, неефективне використання ресурсів. Оскільки структура Hadoop протягом багатьох років зазнала декількох змін; ми можемо побачити, що це може бути використано для виконання набагато більше, ніж лише виконання завдань MapReduce. YARN розшифровується ще одним переговорником ресурсів, який називається системою управління кластерами Hadoop, яка була представлена разом з Hadoop 2.0 для підтримки розподілених обчислень, що також покращує реалізацію MapReduce. У YARN менеджер ресурсів та планувальники є зовнішніми за рамки. Таким чином, у YARN, хоча у нас є вузли даних, більше немає відстежувачів завдань або відстежувачів роботи. Крім YARN, ми можемо мати управління ресурсами, а також загальний графік. У цій темі ми збираємось дізнатись про різну архітектуру YARN
Поясніть Hadoop Пряжа архітектури з діаграмою
(Архітектура Hadoop Пряжа)
YARN представляє концепцію диспетчера ресурсів та майстра додатків в Hadoop 2.0. Менеджер ресурсів бачить використання ресурсів у кластері Hadoop, тоді як життєвий цикл додатків, що працюють на певному кластері, контролює Master Application. В основному, ми можемо сказати, що для ресурсів кластера Примітник програми веде переговори з диспетчером ресурсів. Це завдання виконується контейнерами, які містять певні обмеження на пам'ять. Потім ці контейнери використовуються для запуску процесів, що стосуються додатків, а також ці контейнери контролюються Менеджерами вузлів, які працюють на вузлах кластера. Це підтвердить, що додатком використовується не більше виділених ресурсів.
Різні компоненти Пряжі
Нижче наведено різні компоненти Пряжі.
1) Менеджер ресурсів
YARN працює через диспетчер ресурсів, який є одним на вузол, і менеджер вузлів, який працює на всіх вузлах. Менеджер ресурсів управляє ресурсами, які використовуються в кластері, і Менеджер вузлів обідає та контролює контейнери. Планувальник і Менеджер прикладних програм - це два компоненти Менеджера ресурсів.
- Планувальник : Планування проводиться на основі вимог ресурсів додатками. YARN пропонує декілька планувальників на вибір, і вони є Справедливим та Планувальником потужностей. У разі будь-якого збою обладнання або програми, Планувальник не гарантує перезапустити провалені завдання. Також Scheduler виділяє ресурси для запущених програм, виходячи з місткості та черги.
- Менеджер прикладних програм : Він керує запуском програми "Мастер додатків" у кластері та після відмови програми "Мастер додатка", він допомагає перезапустити його. Крім того, він несе відповідальність за прийняття подання вакансій.
2) Менеджер вузлів
Менеджер вузлів відповідає за виконання завдання в кожному вузлі даних. Менеджер вузлів у YARN за замовчуванням надсилає серцебиття до диспетчера ресурсів, який несе інформацію про запущені контейнери та про наявність ресурсів для нових контейнерів. Він відповідає за перегляд вузлів кластера окремо та керує робочим процесом та завданнями користувачів на певному вузлі. Головним чином, він управляє контейнерами додатків, які призначаються менеджером ресурсів. Менеджер вузлів запускає контейнери, створюючи запити процесів контейнерів, а також вбиває контейнери, як запитає Менеджер ресурсів.
3) контейнери
Контейнери - це набір ресурсів на зразок оперативної пам'яті, процесора та пам'яті тощо на одному вузлі, і вони плануються диспетчером ресурсів і контролюються менеджером вузлів. Життєвий цикл контейнерів керує контейнерами YARN, використовуючи контекст запуску контейнерів та забезпечує доступ до програми для конкретного використання ресурсів у конкретного хоста.
4) Майстер додатків
Він контролює виконання завдань, а також керує життєвим циклом додатків, що працюють на кластері. Індивідуальний майстер додатків асоціюється з завданням, коли він подається в рамки. Основним його обов'язком є узгодження ресурсів з Менеджером ресурсів. Він працює з диспетчером вузлів для контролю та виконання завдань.
Щоб запустити додаток через YARN, виконуються наступні кроки.
- Клієнт зв'язується з Менеджером ресурсів, який запитує запустити процес подачі заявок, тобто він подає програму YARN.
- Наступним кроком є те, що Менеджер ресурсів здійснює пошук диспетчера вузлів, який, у свою чергу, запустить програму Master Master в контейнер.
- Майстер додатків може або запустити виконання в контейнері, в якому він працює зараз, і надати результат клієнту, або він може запитати більше контейнерів у менеджера ресурсів, який можна назвати розподіленими обчисленнями.
- Потім клієнт зв'язується з диспетчером ресурсів, щоб контролювати стан програми.
За допомогою MapReduce у Hadoop версії 1.0 (MRV1) кількість карт та скорочення слотів було визначено на вузол. Також у кластері Hadoop, оскільки апаратні можливості відрізнялися, а кількість завдань на конкретному вузлі потрібно обмежувати вручну. Але з YARN цей недолік долається, оскільки тут Менеджер ресурсів знає про ємність кожного вузла, оскільки він спілкується з Менеджером вузлів, який працює на кожному вузлі.
Висновок - Hadoop YARN Architecture
YARN допомагає подолати проблему масштабованості MapReduce в Hadoop 1.0, оскільки вона розділяє роботу Track Job, як планування роботи, так і моніторинг ходу виконання завдань. Крім того, проблема доступності також подолана, як і раніше в Hadoop 1.0, збій у відстежуванні роботи призвів до перезавантаження завдань. YARN отримав багато додаткових бонусів, таких як краще використання ресурсів, оскільки немає фіксованого місця для завдань, оскільки він забезпечує центральне управління ресурсами. Таким чином, з YARN багато питань, з якими стикалися в попередній версії Hadoop, подолані, оскільки це допомагає розмежувати обробку даних від планування та управління ресурсами. Завдяки YARN можна запускати інтерактивні запити самостійно, а також забезпечувати кращий аналіз у режимі реального часу.
Рекомендовані статті
Це був путівник архітектури Yadon Yado. Тут ми обговорюємо різні компоненти YARN, які включають диспетчер ресурсів, менеджер вузлів та контейнери разом з архітектурою. Ви також можете ознайомитися з іншими запропонованими нами статтями, щоб дізнатися більше -
- Екосистема Apache Hadoop
- Компоненти екосистеми Hadoop
- Компоненти Hadoop
- Екосистема Hadoop