Дізнайтеся 10 найкращих відмінностей між MapReduce і пряжею

Різниця між зменшенням карти і пряжею

Пряжа розшифровується як «Ще один переговорник ресурсів», це нова рамка для управління ресурсами (пам'ять та процесор). Це допомагає нам розробляти будь-який розподілений додаток, надає нам необхідні демони та API. Ще одна важлива особливість YARN полягає в тому, що він обробляє та планує запит на ресурси з програми та допомагає процесу виконувати запит. YARN - це загальна платформа для запуску будь-якого розподіленого додатка, Map Reduce версія 2 - це розподілений додаток, який працює над YARN, тоді як карта зменшення - це одиниця обробки компонента Hadoop, вона обробляє дані паралельно у розподіленому середовищі. Тому в основному скорочення роботи над величезною складовою даних вона обробляє дані та зберігає в HDFS таким чином, що пошук простіше, ніж традиційне зберігання.

Порівнювати голову до голови між MapReduce і пряжею (Інфографіка)

Нижче наведено 10 кращих порівнянь між MapReduce і пряжею

Ключова різниця між MapReduce і пряжею

У Hadoop 1 є два компоненти: перший - HDFS (розподілена файлова система Hadoop), а другий - зменшення карт. Тоді як у Hadoop 2 він також має двокомпонентні HDFS та YARN / MRv2 (ми зазвичай називаємо YARN як Map зменшити версію 2).
У режимі зменшення карт, коли зменшення карт перестане працювати, автоматично автоматично перестане працювати весь його підлеглий вузол. Це єдиний сценарій, коли виконання роботи може перерватися, і це називається єдиною точкою відмови. YARN долає цю проблему через свою архітектуру, YARN має концепцію «Активний вузол імені», а також вузол імені очікування. Коли активний вузол перестає працювати деякий час, пасивний вузол починає працювати як активний вузол і продовжує виконання.
У зменшенні карт є одна архітектура головного та декількох підлеглого. Якщо майстер-підлеглий перестане працювати, то весь підлеглий перестане працювати, це єдина точка відмови в HADOOP1, тоді як HADOOP2, який базується на архітектурі YARN, має концепцію множинних ведучих і підлеглого, якщо один майстер піде вниз, інший майстер відновить процес і продовжить виконання.
Як ми бачимо на схемі нижче, різниця в обох екосистемах HADOOP1 та HADOOP2. Компонентне управління ресурсами YARN взаємодіє із зменшенням карт та HDFS.

Таким чином, в основному YARN відповідає за управління ресурсами, означає, яке завдання буде виконуватися за допомогою якої системи приймати рішення YARN, тоді як map map - це програмуючий фреймворк, який відповідає за те, як виконати конкретну роботу, тому в основному-map-Reduci має двокомпонентний картограф і редуктор для виконання програми.

У Map зменшіть кожен вузол даних, який виконується окремо, тоді як у Пряжі кожен вузол даних працює менеджером вузлів.
Скорочення карт використовує інструмент відстеження завдань для створення та призначення завдання трекеру завдань завдяки даним, керування ресурсом не вражає, внаслідок чого деякі вузли даних залишатимуться бездіяльними та не мають користі, тоді як у YARN є диспетчер ресурсів для кожного кластер, і кожен вузол даних запускає диспетчер вузлів. Для кожного завдання один ведений вузол буде виконувати функції головного додатка, контролюючи ресурси / завдання.

Таблиця порівняння MapReduce проти пряжі

Основа для порівняння	Пряжа	Зменшити карту
Значення	Пряжа виступає ще одним переговорником ресурсів.	Зменшення карти визначається самостійно.
Версія	Представляємо в Hadoop 2.0	Представляємо в Hadoop 1.0
Відповідальність	Тепер YARN відповідає за частину управління ресурсами.	Раніше зменшення карт було відповідальним за управління ресурсами, а також за обробку даних
Модель виконання	Модель виконання пряжі більш загальна порівняно зі зменшенням на карті	Менш загальне порівняно з ПЕРЕМОГОЮ.
Виконання програми	YARN може також виконувати ті програми, які не відповідають моделі зменшення карт	Map Reduce може виконувати власну програму на основі моделі.
Архітектура	YARN вводиться в MR2 на вершині трекера завдань та трекера завдань. На зміну роботодавцю та трекеру завдань Застосування майстер виходить на малюнок.	У більш ранній версії MR1 ПЕРЕДНЯ НЕ. На місці YARN був присутній трекер роботи та трекер завдань, які допомагають у виконанні програми чи завдань
Гнучкість	Пряжа є більш ізольованою та масштабованою	Менш масштабований порівняно з ПЕРЕМОГОЮ
Демони	YARN має ім'я вузла, вузол даних, вторинний вузол імені, диспетчер ресурсів та менеджер вузлів.	Зменшення карти має вузол імені, вузол даних, вузол вторинного імені, трекер завдань та трекер завдань.
Обмеження	У YARN не існує концепції єдиної точки провалу, оскільки вона має декілька Masters, тому якщо один вийшов з ладу, інший майстер підбере її та відновить виконання.	Одинична помилка, низьке використання ресурсів (макс. 4200 кластерів YAHOO) та менша масштабованість порівняно з YARN
Розмір	За замовчуванням розмір вузла даних у YARN становить 128 Мб	За замовчуванням розмір вузла даних у зменшенні Map становить 64 Мб.

Висновок - MapReduce проти пряжі

У Hadoop 1, який базується на зменшенні карт, є кілька проблем, які в Hadoop 2 подолані пряжею. Як і в Hadoop 1, трекер роботи відповідає за управління ресурсами, але YARN має концепцію менеджера ресурсів, а також менеджера вузлів, який буде приймати управління ресурсами. У зменшенні карт є одна точка відмови, тобто трекер роботи, якщо трекер роботи припинить роботу, то нам доведеться перезапустити весь наш кластер і знову виконати свою роботу з Initial. У реальному сценарії жодна організація не хоче ризикувати таким видом ризику, особливо в секторі оборони банку. Така організація, яка працює над оптимізацією даних, не готова ризикувати. За кілька хвилин вони втратять свої дані і можуть мати критичний вплив на бізнес. Тож YARN має кращий результат порівняно зі зменшенням карт.