Ознайомлення з інструментами Kafka
Kafka Tools - це сукупність різноманітних інструментів, за допомогою яких ми можемо керувати нашим кластером Kafka. Інструменти здебільшого засновані на командному рядку, але також доступні інструменти на основі інтерфейсу, які можна завантажити та встановити.
Ми можемо використовувати інструменти Kafka для виконання різних операцій, таких як:
- Перелічіть наявні кластери Kafka та їхніх брокерів, тем та споживачів.
- Можна друкувати повідомлення з різних тем у стандартному висновку. Інструменти на основі користувальницького інтерфейсу, безумовно, можуть забезпечити кращу читаність.
- Додавання та видалення тем у брокерів.
- Додайте нові повідомлення у розділи.
- Переглянути всі компенсації наших споживачів.
- Створюйте розділи наших тем.
- Перерахуйте всі групи споживачів, опишіть групи споживачів, видаліть інформацію про групи споживачів та скиньте компенсації групи споживачів.
Якщо ми хочемо використовувати інструмент на основі інтерфейсу, ми можемо використовувати інструмент Kafka, який можна завантажити з наступної веб-сторінки:
http://www.kafkatool.com/download.html
Ця програма доступна безкоштовно для особистого користування, але нам потрібно придбати ліцензію для комерційного використання. Хороша річ у цьому - її доступність для Mac, Windows та Linux Systems.
Топ-3 типи інструментів Kafka
Інструменти Kafka класифікуються на Системні інструменти та Засоби застосування.
1. Системні інструменти
Системні інструменти можна запустити за допомогою наступного синтаксису.
Синтаксис:
bin/kafka-run-class.sh package.class - - options
Деякі із системних інструментів:
- Інструмент міграції Kafka: Цей інструмент використовується для переміщення брокера Kafka з однієї версії на іншу.
- Consumer Offset Checker: Цей інструмент може відображати групу споживачів, теми, розділи, офсет, logSize, власника для вказаного набору тем та групи споживачів.
- Дзеркальний виробник: Цей інструмент використовується для дзеркального відображення одного кластеру Kafka до іншого.
2. Засоби реплікації
В основному це інструменти дизайну високого рівня, що забезпечують довговічність та доступність.
Деякі з інструментів реплікації:
- Інструмент створення тем : Цей інструмент використовується для створення тем із типовим числом розділів та коефіцієнтом реплікації.
- Інструмент списку тем : використовується для перерахування інформації для певного списку тем. Чудова річ у цьому інструменті полягає в тому, що якщо в командному рядку вже немає жодної теми, він запитує Zookeeper спочатку отримати список тем, а потім надрукувати інформацію про них. У ньому перераховані різні поля, такі як назва теми, розділи, лідер, репліки тощо.
- Інструмент для додавання розділів : Цей інструмент використовується для додавання розділів до теми, необхідної для обробки обсягу даних у темі. Але зауважте, що ми повинні вказати розділи під час створення теми. Цей інструмент дозволяє нам додавати вручну репліки для доданих розділів.
3. Різні інструменти
Тепер обговоримо деякі різні інструменти:
а. Інструмент Kafka-Topics
Цей інструмент використовується для створення, списку, зміни та опису тем.
Приклад: Створення теми: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
б. Інструмент Kafka-Console-Consumer
Цей інструмент може бути використаний для зчитування даних з тем Кафки та записування їх на стандартний вихід
Приклад: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Інструмент Kafka-консолі-виробника
Цей інструмент можна використовувати для запису даних у тему Kafka зі стандартного виводу.
Приклад: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
г. Інструмент «Кафка-споживач»
Цей інструмент можна використовувати для списку всіх груп споживачів, опису групи споживачів, видалення інформації про споживчу групу або скидання компенсацій групи споживачів. Цей інструмент в основному використовується для опису груп споживачів та налагодження будь-яких проблем із компенсацією споживачів.
Приклад: Перегляд зрушень на незахищеному кластері: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Кафка Архітектура
Різні компоненти інструментів Kafka
Основними компонентами Kafka є наступні:
1. Брокер
Кожен вузол кластеру Kafka - це брокер, який зберігає дані. Як правило, існує кілька брокерів, щоб правильно збалансувати навантаження. Брокер зберігає повідомлення у формі тем, до яких можуть звернутися виробники (для письма) та споживачі (для читання). Теми створюються для відокремлення даних однієї програми від інших. Оскільки брокери є особами без громадянства, їм потрібна допомога Zookeeper, щоб підтримувати стан своїх кластерів. Один брокер може обробляти ТБ-повідомлення без будь-якого впливу на продуктивність. Вибори лідера брокера "Кафка" проводяться "Зоопарком".
2. Виробник
Саме блок підштовхує повідомлення до брокерів. Тут можуть бути декілька виробників, які генерують дані з дуже високою швидкістю та незалежно один від одного. Виробники не отримують підтвердження від посередників і надсилають дані зі швидкістю, яку можуть обробляти брокери. Вони можуть шукати брокерів і починати надсилати повідомлення, як тільки брокери запускаються. Виробник несе відповідальність за вибір того, яке повідомлення буде призначено якому розділу в темі. Це можна зробити в круговій формі просто, щоб збалансувати навантаження, або це можна зробити відповідно до якоїсь функції семантичного розділу (скажімо, на основі якогось ключа в повідомленні).
3. Зоопарк
Це підрозділ, який управляє та координує посередників. Зоопарк повідомляє виробника чи споживача у разі додавання чи відмови брокера. Кожен брокер регулярно надсилає запити на серцебиття до зоопарку, поки він живий. Зоопарк також підтримує інформацію про теми та компенсації споживачів.
4. Споживач
Це блок, який читає повідомлення з тем. Споживач може підписатися та читати з декількох тем. Споживач може працювати паралельно з іншими споживачами (у цьому випадку кожен розділ читатиме лише один споживач), утворюючи Споживчу групу. Це не працює в синхронізації з виробниками. Споживач повинен підтримувати кількість повідомлень, які він прочитав, використовуючи зміщення розділу. Якщо споживач приймає певний зсув розділу, це означає, що він вже спожив попередні повідомлення в розділі.
Висновок
У цій статті ми дізналися, як ми можемо використовувати різні інструменти Kafka для ефективного управління нашим кластером Kafka. Ми також дізналися про різні компоненти екосистеми Кафки та про те, як вони взаємодіють між собою.
Рекомендовані статті
Це посібник з інструментів Kafka. Тут ми обговорюємо типи інструментів Kafka, різні компоненти Kafka разом з Kafka Architecture. Ви також можете переглянути наступну статтю, щоб дізнатися більше -
- Найпопулярніші програми Kafka
- Пояснення архітектури великих даних
- Найпопулярніші інструменти для вивчення даних
- Відмінності Кафки від Іскри