Як встановити Kafka?

Kafka - розподілена потокова платформа. Це допомагає в публікації та передплаті потоків записів. Kafka зазвичай використовується для побудови потокових трубопроводів потокової передачі в реальному часі, які надійно отримують дані між різними системами та додатками. Це також може допомогти у створенні потокових програм у режимі реального часу, які допомагають трансформувати або вносити зміни за допомогою потоків даних. Kafka дозволяє зберігати потоки записів у різних категоріях, що називаються темами. Кожен запис складається з ключа, значення та часової позначки. Він має чотири основні компоненти, такі як API виробника, API споживача, API потоків та API з'єднувача. Він використовує протокол TCP, який забезпечує гарну комунікацію між клієнтами та серверами з високою продуктивністю. Для того, щоб встановити Kafka, можна виконати наступні кроки.

Встановіть Kafka в ОС Windows

Для встановлення Kafka в Windows виконайте наступні кроки:

Крок 1. Завантажте Zookeeper за наступним посиланням: HTTP: //zookeeper.apache.org/releases.html

Після цього завантажте Кафку за посиланням: http://kafka.apache.org/downloads.html

Також завантажте JRE згідно з вашою операційною системою та архітектурою процесора із посилання нижче: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Крок 2. Налаштування JDK-

Запустіть інсталяцію JRE і натисніть прапорець "Змінити папку призначення". Тепер натисніть на Встановити.

Після цього змініть каталог на будь-який шлях без пробілів у назві папки.

Крок 3. Після цього відкрийте змінні середовища з Панелі управління -> Система -> Розширені налаштування системи -> Змінні середовища.

Крок 4. Клацніть на "Нова змінна користувача" на вкладці "Змінна користувача", а потім введіть JAVA_HOME у назві змінної. Введіть свій шлях JRE в розділ Змінне значення. Він повинен бути, як показано нижче:

Крок 5. Тепер натисніть кнопку ОК.

Крок 6. Шукайте змінну шляху в розділі «Змінна системи» у діалоговому вікні «Змінна середовища», яке відкриється.

Крок 7. Відредагуйте шлях і введіть ";% JAVA_HOME% \ bin" в кінці тексту, вже написаного там, як і зображення нижче:

Крок 8. Щоб перевірити, чи встановлена Java належним чином, перейдіть до командного рядка та введіть «java - версія». На екрані відобразиться встановлена версія Java.

Якщо ви бачите наведені вище деталі в командному рядку, то вам добре з боку Java.

Після встановлення Java тепер можна перейти, щоб виконати налаштування Zookeeper.

Виконайте нижче кроки, щоб встановити Zookeeper у вашій системі:

Відкрийте каталог, де знаходиться конфігураційний каталог Zookeeper. Це може бути C: \ zookeeper-3.4.7 \ conf.
Тепер перейменуйте файл "zoo_sample.cfg" на "cfg"
Відкрийте цей перейменований файл у Блокноті.
Знайдіть і відредагуйте таке: dataDir = / tmp / zookeeper до \ zookeeper-3.4.7 \ data
Так само, як ми додали змінну середовища для Java, додамо змінну середовища для Zookeeper.
Встановіть шлях до змінної системи як: dataDir = / tmp / zookeeper: \ zookeeper-3.4.7 \ data
Відредагуйте системну змінну під назвою "Шлях" та додайте; % ZOOKEEPER_HOME% \ bin;
Порт за замовчуванням для Zookeeper - 2181, який можна змінити на будь-який інший порт, перейшовши у файл zoo.cfg.
Запустіть Zookeeper, відкривши новий cmd і введіть "zkserver". Ви побачите нижче деталі.

Щойно ви побачите цей екран, ви повинні бути впевнені, що Zookeeper успішно встановлений.

Налаштування Кафки

Після запуску Java та Zookeeper у вашій системі ви можете продовжити налаштування Kafka.

Перейдіть до каталогу конфігурацій Kafka.
Відредагуйте файл “server.properties”.
Після цього ви можете знайти та відредагувати рядок, де ви бачите: dirs = / tmp / kafka-logs до “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
Якщо у вас Zookeeper працює на іншій машині, ви можете змінити цей шлях на "zookeeper.connect: 2181" на налаштований IP-номер і ідентифікатор порту.
Порт за замовчуванням для Kafka - порт 9092, а для підключення до Zookeeper - 2181.

Запуск сервера Kafka

Після завершення початкової установки ви можете легко запустити сервер Kafka

Перш ніж запустити сервер Kafka, потрібно переконатися, що екземпляр Zookeeper працює і працює.

1. Перейдіть до каталогу встановлення Kafka: C: /kafka_2.11-0.9.0.0

2. Відкрийте командний рядок і натисніть клавішу Shift + клацніть правою кнопкою миші та оберіть опцію «Відкрити вікно команд тут».

3. Тепер введіть. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties і натисніть Enter.

Після запуску цього і все в порядку, тоді ваш екран повинен виглядати як показано нижче:

4. Тепер ваш сервер Kafka працює і працює. Ви можете створити власні теми для зберігання різних повідомлень. Після цього ви зможете створювати та споживати дані з коду Java чи Scala або безпосередньо запускатись із командного рядка.

Встановіть Kafka в Linux

Виконайте наведені нижче дії, щоб встановити Kafka в Linux:

Крок 1. Завантажте та витягніть бінарні файли Kafka та зберігайте їх у каталогах.

Крок 2. Витягніть завантажений архів за допомогою команди tar.

Крок 3. Для налаштування Kafka перейдіть до сервера.properties. Відкрийте цей файл за допомогою команди nano та додайте наступне внизу файлу.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Крок 4. Після цього користувачеві доведеться створити файли системного блоку для служб Kafka. Це допомагає виконувати загальні сервісні дії, такі як запуск, зупинка та перезапуск Kafka відповідно до інших служб Linux. Zookeeper - це послуга, яку Kafka використовує для управління своїми кластерами та конфігураціями.

Крок 5. Для створення одиничного файлу для Zookeeper слід нижче:

sudo nano /etc/systemd/system/zookeeper.service

Крок 6. Після створення цього файлу зоопарку вставте його нижче:

(Unit) Requires=network.target remote-fs.target After=network.target remotefs.target (Service) Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal (Install) WantedBy=multi-user.target

Цей розділ (Unit) тут вказує, що Zookeeper вимагає, щоб мережа та файлова система були готові до її запуску.

У розділі (Служба) система повідомляє, що для запуску та зупинки служб існують файли zookeeper-server-start.sh та zookeeper-server-stop.sh.

Крок 7. Тепер користувач повинен створити системний файл для Kafka, як показано нижче:
sudo nano /etc/system/system/Kafka.service

Крок 8. У цей файл вставити нижче:

(Unit) Requires=zookeeper.service After=zookeeper.service (Service) Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal (Install) WantedBy=multi-user.target

Тут (Unit) вказує, що файл одиниці залежить від zookeeper.service. Це забезпечує запуск зоопарку до запуску Kafka.

Крок 9. Тепер потрібно ввімкнути Kafka та перезавантажити сервер. Виконати: sudo systemctl включити Kafka

Крок 10. Встановлення тестування:

Ви можете протестувати встановлення Kafka, створивши тему, а потім опублікувавши її споживачам.

Створіть тему : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –фактор реплікації 1 –розділи 1 –topic TutorialTopic

Опублікувати цей користувач може створити виробників та споживачів, а потім публікувати будь-які дані на певні теми.

Як встановити Kafka? - Посібник з встановлення Kafka в Windows та Linux

Зміст: