✅ Кафка проти Іскри - 5 найкращих речей, про які ти повинен знати

Відмінності Кафки від Іскри

Відмінності Кафки від Іскри

Організації постійно зростають з величезними даними. Вони намагаються використовувати Hadoop для таких величезних даних замість традиційних RDBMS. У той же час вони хочуть швидкої обробки та виведення в реальному часі. Hadoop - це платформа з відкритим кодом, де ми можемо використовувати кілька мов для різних типів інструментів, таких як Python, Scala. Для обробки в режимі реального часу в Hadoop ми можемо використовувати Kafka та Spark. Це невелика стаття, де я намагаюся пояснити, як працюватиме Кафка проти Іскра.

Кафка

Kafka - це платформа обробки потоку з відкритим кодом, розроблена Apache. Це посередник між джерелом та пунктом призначення для потокового потоку в режимі реального часу, де ми можемо зберігати дані протягом певного періоду часу. Kafka - це розподілена система обміну повідомленнями. Де ми можемо використовувати ці збережені дані для процесу в режимі реального часу. Він працює як сервіс на одному або декількох серверах. Kafka зберігає потік записів у категоріях, що називаються темами. Кожен запис потоку складається з ключа, значення та часової позначки.

Запуск сервера Kafka

>bin/Kafka-server-start.sh config/server.properties

Далі йде основна складова Кафки

Джерело: Це запуститься, коли у джерелі з'явиться новий CDC (Change Data Capture) або нова вставка. Для цього нам потрібно визначити ключовий стовпчик для ідентифікації змін.

Брокер: який відповідає за зберігання даних. Кожен брокер не має жодних розділів.

Тема: Він класифікує дані. Теми в Kafka завжди підписуються кількома споживачами, які підписуються на дані, написані на ній.

Щоб створити тему

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

І щоб побачити список тем

> bin/kafka-topics.sh --list --zookeeper localhost:2181

Розділ: Теми додатково розбиваються на розділ для паралельної обробки.

Виробник: Виробник несе відповідальність за публікацію даних. Це підштовхне дані до вибраних тем. Продюсер обирає, яку запис записати до якого розділу в темі.

Кафка наказав створити повідомлення на тему.

> bin/Kafka-console-producer.sh --broker-list localhost:9092 --topic test

Привіт добрий ранок.

Це тестове повідомлення.

Споживач: Споживачі будуть споживати дані з тем. Споживач буде етикеткою зі своєю групою споживачів. Якщо в одній і тій же темі є кілька споживачів з різних споживчих груп, то кожна копія буде надіслана кожній групі споживачів.

Можна зберегти з кількох джерел, щоб зберегти дані. Кафка наказав споживати повідомлення на тему.

> bin/Kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

Привіт добрий ранок.

Це тестове повідомлення.

Flume: Ми можемо використовувати мийку Kafka Sink. У якому, як тільки будь-який CDC (Change Data Capture) або New insert flume запустить запис і перенесе дані на тему Kafka. Для цього нам потрібно встановити канал.

Так само, як мийка Kafka Sink, ми можемо мати HDFS, джерело JDBC та мийку.

Kafka має кращу пропускну здатність та має такі функції, як вбудований розділ, реплікація та відмовостійкість, що робить його найкращим рішенням для величезних програм для обробки повідомлень чи потоків

Іскра

Apache Spark - це система кластерно-обчислювальних технологій з відкритим кодом. Спочатку розроблений в Каліфорнійському університеті, лабораторії Берклі в Amp Lab, база кодів Spark згодом була передана Фонду програмного забезпечення Apache. Spark надає інтерфейс для програмування цілих кластерів з неявним паралелізмом даних та толерантністю до відмов.

Коли Hadoop був представлений, Map-Reduce був базовим механізмом виконання будь-яких завдань. У процесі виконання Map-Reduce (Read - Write) процес стався на фактичному жорсткому диску. Це причина більшої витрати часу та простору на момент виконання.

Apache Spark - платформа з відкритим кодом. Покращує якість виконання, ніж процесMap-Reduce. Це відкрита платформа, де ви можете використовувати кілька програмних мов, таких як Java, Python, Scala, R. Spark забезпечує виконання в пам'яті, яке на 100 разів швидше, ніж MapReduce. Тут використовується визначення RDD. RDD - це надійний розподілений набір даних, який дозволяє чітко зберігати дані в пам'яті та зберігати їх на диску лише за потребою. Тут проходить час доступу до даних із пам'яті замість диска.

Spark - це платформа, на якій ми можемо зберігати дані у Data Frame та обробляти їх. Розробник додатків, Data Scientist, Data Analyst може використовувати Spark для обробки величезної кількості даних протягом мінімального періоду часу. У Spark ми можемо використовувати таку функцію, як інтерактивний, ітеративний аналіз даних.

Іскраве потокове передача - ще одна особливість, де ми можемо обробляти дані в режимі реального часу. Банківському домену потрібно відстежувати транзакцію в режимі реального часу, щоб запропонувати клієнту найкращу угоду, відстежуючи підозрілі трансакції. Іскрова стрічка найбільш популярна у молодшому поколінні Hadoop. Spark - це легкий API, який легко розробити, який допоможе розробнику швидко працювати над потоковими проектами. Іскровий потік легко відновить втрачені дані і зможе доставити рівно, коли архітектура буде створена. І без зайвих зусиль із кодування ми можемо одночасно працювати над потоком іскрових потоків у реальному часі та історичними пакетними даними (Lambda Architecture).

У потоці Spark ми можемо використовувати декілька інструментів, таких як дим, Kafka, RDBMS як джерело чи раковину.

Або ми можемо безпосередньо перейти з RDBMS до Spark.

Ми можемо запустити іскру поверх HDFS або без HDFS. Тому всі говорять про його заміну Hadoop. HDFS - це базова файлова система для Hadoop. Ми можемо використовувати HDFS як джерело або цільове місце призначення.

Використовуючи Spark SQL, використовуйте основні SQL запити для обробки даних. Ця іскра надає кращі функції, такі як Mlib (Бібліотека машинного навчання) для науковця даних для прогнозів.

Порівняння "голова до голови" між Кафкою і Спарком (Інфографіка)

Нижче наведено топ-5 порівнянь між Кафкою та Іскоркою

Ключова різниця між Кафкою проти Іскри

Давайте обговоримо деякі основні відмінності між Кафкою проти Іскри:

Кафка - брокер повідомлень. Spark - це платформа з відкритим кодом.
У Kafka є виробник, споживач, тема для роботи з даними. Там, де Spark забезпечує платформу, витягуйте дані, зберігайте їх, обробляйте та натискайте від джерела до цілі.
Kafka забезпечує потокове потокове відео в режимі реального часу. Де Spark дозволяє здійснювати як потоковий процес у реальному часі, так і пакетний процес.
У Кафці ми не можемо здійснити перетворення. Where In Spark ми виконуємо ETL
Kafka не підтримує жодної мови програмування для перетворення даних. Де spark підтримує кілька мов програмування та бібліотеки.
Таким чином, Kafka використовується для потокового передавання в реальному часі як канал або посередник між джерелом та ціллю. Де Spark використовує для потоку в режимі реального часу, пакетний процес і ETL.

Особливості Kafka vs Spark

Є кілька ключових особливостей:

Потік даних: Kafka vs Spark забезпечують потокове передавання даних у режимі реального часу від джерела до цільового. Kafka просто Передайте дані в тему, Spark - це процедурний потік даних.
Обробка даних: Ми не можемо здійснити будь-яке перетворення даних, у яких Spark ми можемо перетворити дані.
Зберігання даних: Kafka зберігає дані певний час, як визначено в конфігурації. Нам потрібно використовувати кадр даних або об’єкт набору даних, щоб зберегти дані.
Трансформація ETL: за допомогою Spark ми можемо виконувати ETL, де Kafka не надає ETL.
Управління пам'яттю: Spark використовує RDD для зберігання даних в розподіленому вигляді (тобто кеш, локальний простір), де Kafka зберігає дані в Topic, тобто в буферній пам'яті.

Порівняльна таблиця між Кафкою і Іскрами

Нижче наведено найвище порівняння між Кафкою та Іскоркою:

Критерії особливості	Apache Spark	Кафка
Швидкість	У 100 разів швидше, ніж Hadoop	Гідна швидкість
Обробка	Пакетна обробка в режимі реального часу	Тільки в режимі реального часу / обробки вікон
Складність	Легко навчатись через модулі високого рівня	Легко налаштувати
Відновлення	Дозволяє відновити розділи за допомогою Cache та RDD	Відмовно / тиражування
Інтерактивність	Має інтерактивні режими	Немає інтерактивного режиму / Споживайте дані

Висновок

Ми можемо використовувати Кафку в якості брокера повідомлень. Він може зберігати дані протягом певного періоду часу. Використовуючи Kafka, ми можемо виконувати операції з вікном у режимі реального часу. Але ми не можемо здійснити перетворення ETL в Kafka.Using Spark ми можемо зберігати дані в об'єкті даних і виконувати перетворення ETL в кінець.

Тож це найкраще рішення, якщо ми використовуємо Kafka як потокову платформу в режимі реального часу для Spark.

Кафка проти Іскри - 5 найкращих речей, про які ти повинен знати