Вступ у велику архітектуру даних
Якщо справа стосується управління важкими даними та виконання складних операцій над цими масивними даними, виникає потреба у використанні великих інструментів та методів передачі даних. Коли ми говоримо, що використовуємо інструменти та методи великих даних, ми фактично маємо на увазі, що ми просимо скористатись різним програмним забезпеченням та процедурами, які лежать в екосистемі великих даних та її сфері. Не існує жодного загального рішення, яке надається для кожного випадку використання, і тому воно повинно бути розроблене та виготовлено ефективно, відповідно до вимог бізнесу конкретної компанії. Таким чином, виникає потреба у використанні різної архітектури великих даних, оскільки поєднання різних технологій призведе до досягнення результату використання. Встановивши фіксовану архітектуру, можна забезпечити життєздатне рішення для запитуваного випадку використання.
Що таке велика архітектура даних?
- Ця архітектура розроблена таким чином, що вона обробляє процес прийому, обробку даних та аналіз даних робиться, що є занадто великим або складним для обробки традиційних систем управління базами даних.
- У різних організацій є різні порогові значення для своїх організацій, деякі мають кілька сотень гігабайт, а для інших навіть деякі терабайти недостатньо порогового значення.
- У зв'язку з тим, що ця подія відбувається, якщо подивитися на товарні системи та товарне зберігання, значення та вартість зберігання значно знизилися. Існує величезна різноманітність даних, які потребують задоволення різних способів.
- Деякі з них - це пакетні дані, які надходять у певний час, і тому завдання потрібно планувати аналогічно, а інші належать до класу потоку, де повинен бути побудований конвеєр потокового потоку в реальному часі, щоб задовольнити всі вимоги. Усі ці проблеми вирішуються архітектурою великих даних.
Пояснення архітектури великих даних:
Системи великих даних включають більше одного типу робочого навантаження, і вони широко класифікуються наступним чином:
- Там, де великі джерела даних базуються на стані спокою, бере участь пакетна обробка.
- Велика обробка даних в русі для обробки в режимі реального часу.
- Дослідження інтерактивних інструментів та технологій великих даних.
- Машинне навчання та прогнозний аналіз.
1. Джерела даних
Джерела даних включають усі ті золоті джерела, з яких побудований конвеєр вилучення даних, і, отже, це може бути початковою точкою великого конвеєра даних.
Приклади включають:
(i) сховища даних таких додатків, як реляційні бази даних
(ii) Файли, які створюються низкою додатків і в основному є частиною статичних файлових систем, таких як веб-серверні файли, що генерують журнали.
(iii) пристрої IoT та інші джерела даних на основі реального часу.
2. Зберігання даних
Сюди входять дані, які керуються для пакетно вбудованих операцій і зберігаються у файлових сховищах, які розповсюджуються в природі, а також здатні вміщувати великі обсяги великих файлів, що підтримуються різним форматом. Його називають озером даних. Це, як правило, є частиною, де зберігаються наші сховища Hadoop, такі як HDFS, Microsoft Azure, AWS, GCP, а також контейнери для блоків.
3. Пакетна обробка
Всі дані поділяються на різні категорії чи фрагменти, що використовує тривалі завдання, які використовуються для фільтрації та агрегації, а також готують дані про оброблений стан для аналізу. Ці завдання зазвичай використовують джерела, обробляють їх та забезпечують вихід оброблених файлів до нових файлів. Пакетна обробка проводиться різними способами, використовуючи завдання Hive або на базі U-SQL або використовуючи Sqoop або Pig, а також спеціальні завдання для зменшення карт, які зазвичай написані на будь-якій з Java, Scala або будь-якій іншій такою мовою, як Python.
4. Поглинання повідомлення в режимі реального часу
Це включає, на відміну від пакетної обробки, всі ті потокові системи в режимі реального часу, які обслуговують дані, що генеруються послідовно і за фіксованою схемою. Це часто простий марш даних або сховище, відповідальне за всі вхідні повідомлення, які потрапляють всередину папки, обов'язково використовуваної для обробки даних. Однак існує більшість рішень, які потребують необхідності зберігання прийому на основі повідомлень, яке виконує функцію буфера повідомлень, а також підтримує обробку на основі масштабу, забезпечує порівняно надійну доставку разом з іншою семантикою черги повідомлень. До таких варіантів можна віднести такі, як Apache Kafka, Apache Flume, хаби подій від Azure тощо.
5. Обробка потоків
Існує незначна різниця між прийманням повідомлень у режимі реального часу та обробкою потоку. Перший бере до уваги отримані дані, які збираються спочатку, а потім використовуються як інструмент для видачі підписки. З іншого боку, обробка потоку використовується для обробки всіх потокових даних, що відбуваються у вікнах або потоках, а потім записує їх у вихідний протокол. Сюди входять Apache Spark, Apache Flink, Storm тощо.
6. Магазин даних на основі аналітики
Це сховище даних, яке використовується в аналітичних цілях, і тому вже оброблені дані потім запитуються та аналізуються за допомогою інструментів аналітики, які можуть відповідати BI-рішенням. Дані також можуть бути представлені за допомогою технології зберігання даних NoSQL, наприклад, HBase або будь-якого інтерактивного використання бази даних вуликів, яка може забезпечити абстрагування метаданих у сховищі даних. Інструменти включають Hive, Spark SQL, Hbase тощо.
7. Звітність та аналіз
Інформація повинна формуватися на оброблюваних даних, і це ефективно робиться інструментами звітності та аналізу, який використовує їх вбудовану технологію та рішення для створення корисних графіків, аналізу та розумінь, корисних для бізнесу. До інструментів належать Cognos, Hyperion тощо.
8. Оркестрація
Великі рішення, що базуються на даних, складаються з операцій, пов’язаних з даними, які повторюються за своєю природою, а також укладені в робочі процеси, які можуть трансформувати вихідні дані, а також переміщувати дані по джерелах, а також мийок та завантажуватись у сховищах та запускати в аналітичні одиниці. Приклади включають Sqoop, oozie, завод даних тощо.
Висновок
У цій публікації ми читаємо про велику архітектуру даних, яка необхідна для впровадження цих технологій у компанії чи організації. Сподіваюся, вам сподобалась наша стаття.
Рекомендовані статті
Це було керівництвом щодо архітектури великих даних. Тут ми обговорюємо, що таке великі дані? а також ми пояснили архітектуру великих даних разом із блок-схемою. Ви також можете ознайомитися з іншими запропонованими нами статтями, щоб дізнатися більше -
- Технології великих даних
- Аналіз великих даних
- Кар'єра у великих даних
- Питання для інтерв'ю Big Data
- Топ-8 пристроїв IoT, які ви повинні знати
- Типи приєднань до Spark SQL (приклади)