Ознайомлення з Hadoop Schedulers

Коли ми говоримо про Hadoop, перше, що спливає наш розум, - це великі дані. Але ми коли-небудь замислювалися про те, що Hadoop сам по собі - це не просто технологія, а натомість охоплює багато інструментів і прийомів всередині неї, так як саме ми здатні автоматично досягти того, що задумано через Hadoop. Відповідь на це питання полягає у використанні планувальників Hadoop.

Це дозволяє забезпечити високий рівень обробки системи і також відома як система загального призначення, яка діє на рівні розподілу набору даних і інформації. Це багатозадачна система, яка використовується для обробки декількох наборів даних для багатьох користувачів і робочих місць одночасно. Раніше для всіх завдань використовувався лише один планувальник, але зараз планувальники Hadoop - це ті, які використовуються разом з логікою JobTracker, а також підтримуються Hadoop.

Топ-4 типи планувальників Hadoop

Існує кілька типів планувальників Hadoop, якими ми часто користуємося:

1. Hadoop First in Scheduler Scheduler

  • Як випливає з назви, це один із тих найстаріших планувальників робочих місць, який працює за принципом «перший і перший». В основному, коли ми говоримо про такий процес, як процес JobTracker, ми говоримо про витягування робочих місць з черги, про яку часто говорять, що це черга роботи.
  • Відповідно до цієї черги роботи, найстарішою є робота, тобто перша, яка буде першою, а також її виконають.
  • Це вважалося, що це набагато простіший підхід, ніж інші методи планування, і тому не було багато думок, щоб закреслити цю техніку лише для того, щоб знайти новіші підходи з кращими можливостями планування, оскільки вони також включали в себе концепції розміру та пріоритетності роботи.

2. Планувальник потужностей Hadoop

  • Планувальник потужностей Hadoop є більш-менш схожим на підхід FIFO, за винятком того, що він також використовує пріоритетність завдання. Цей підхід має дещо інший підхід, коли ми говоримо про багатокористувацький рівень планування.
  • Цей відомий для планування та імітації окремого кластеру MapReduce для кожної організації або користувача, який робиться разом із типом розкладу FIFO.

3. Планувальник ярмаркового типу Hadoop

  • Коли виникає потреба у забезпеченні окремої та розумної кількості потужностей кластерів із часом та періодом, ми використовуємо планувальник ярмарку Hadoop. Корисно отримати всі кластери, навіть якщо певна робота знаходиться в робочому стані.
  • Крім того, всі вільні слоти кластеру надаються всім завданням таким чином, що кожен користувач отримує нормалізовану частку частини свого кластера, оскільки більше завдань стає корисним для подання.
  • Якщо є пул, який ще не отримав свою частину справедливої ​​частки та нормалізовану частку протягом досить хорошої кількості часу та періоду, тоді виграє призупинення, тим самим знищуючи всі об'єднані завдання та працюючи з можливістю забезпечити цей пул слоти для роботи під потужністю.
  • Крім того, це також відоме як модуль contrib, що означає, що шляхом копіювання каталогу управління Hadoop та справедливого планувальника в каталог, заснований на lib та розміщення файлу JAR у відповідному місці, ця техніка планування може бути включена. Єдине, що потрібно зробити, це налаштувати властивість планувальника завдань на mapred.FairScheduler.

4. Інші підходи щодо планувальника

  • Hadoop гарантує надання віртуальних кластерів, а це означає, що потреба у фактичних фізичних кластерах може бути зведена до мінімуму, і ця методика називається HOD (Hadoop on Demand).
  • Він використовує диспетчер ресурсів на основі Torque, щоб підтримувати вузли та їх розподіл за потребою віртуального кластера.
  • Він використовується для ініціалізації навантаження та системи, що базується на конкретних вузлах всередині віртуального, а не фізичного кластера, а також разом з виділеними вузлами, лише після того, як файли конфігурації будуть підготовлені автоматично.
  • Кластер HOD також може бути використаний порівняно значно незалежним чином після ініціалізації. У двох словах, модель горіхів, яка використовується для розгортання цих великих кластерів Hadoop, знаходиться в хмарній інфраструктурі, і саме це називається HOD. Він порівняно розділяє меншу кількість вузлів і, таким чином, забезпечує більший обсяг безпеки.

Важливість використання планувальників Hadoop

  1. З типів планувальників Hadoop слід зрозуміти, в чому полягає важливість використання цих Hadoop Schedulers. Якщо ви працюєте з великим кластером, який має різні типи завдань, різні пріоритети та розміри разом із кількома клієнтами, то вибір правильного типу планувальника Hadoop стане важливим.
  2. Це важливо, оскільки це забезпечує гарантований доступ до невикористаного рівня потенціалу та оптимальне використання ресурсів шляхом визначення пріоритетності робочих місць в межах черг. Незважаючи на те, що ця частина планувальників Hadoop порівняно проста, оскільки використання справедливих планувальників є головним чином правильним вибором, якщо є різниця між кількістю та типами кластерів, що працюють в межах однієї організації.
  3. Цей справедливий планувальник все ще може бути використаний для забезпечення та нерівномірного розподілу ємності робочих місць для пулу, і це робиться значно простішим та конфігуруваним чином. Справедливий планувальник також допомагає нам, коли ми говоримо про наявність різноманітних робочих місць, оскільки це може бути використано для отримання більш високого часу реагування на порівняно менші робочі місця, які змішуються з більш великими видами робіт, і підтримка для них включена в інтерактивне використання моделей.
  4. Планувальники ємностей є корисними, коли вас більше турбують черги замість рівня створених пулів, а також доступний настроюваний рівень карти та зменшення слотів типу робочих місць, і черга може дозволити собі отримати гарантовану потужність кластеру.

Висновок

У цій публікації ми прочитали про планувальників Hadoop, їх значення, вступ, типи планувальників Hadoop, їх функції, а також дізналися про важливість цих планувальників Hadoop. Якщо стосується екосистеми та довкілля великих даних, планувальники Hadoop - це те, про що часто не говорять, але має надзвичайно важливе значення і не може бути дозволено залишити його так, як є. Сподіваюся, вам сподобалась наша стаття.

Рекомендовані статті

Це посібник для Hadoop Schedulers. Тут ми обговорюємо вступ та топ-4 типи планувальника Hadoop з важливістю його використання. Ви також можете переглянути наступні статті, щоб дізнатися більше -

  1. Гойдаючі компоненти на Java
  2. JTabbedPane на Java
  3. Захищене ключове слово на Java
  4. JTextArea на Java

Категорія:

Великі дані