✅ Верхні команди вуликів - Особливості з підказками

Вступ до команд вуликів

Вступ до команд вуликів

Команда Hive - це інструмент інфраструктури сховища даних, який сидить на вершині Hadoop для узагальнення великих даних. Він обробляє структуровані дані. Це спрощує запит та аналіз даних. Команда Hive також називається «схемою читання; Ця властивість вулика робить його швидким для початкового завантаження. Це як копіювання або просто переміщення файлу, не ставлячи жодних обмежень чи перевірок. Спочатку вулик був розроблений Facebook. Пізніше компанія Apache Software взяла його за собою і розвинула.

Ось компоненти команди Hive:

Рис 1. Компоненти вулика

https://www.developer.com/

Ось особливості команди вулика, перелічені нижче:

Магазини вуликів - це сировина та оброблений набір даних у Hadoop.
Він призначений для он-лайн обробки транзакцій (OLTP). OLTP - це системи, які полегшують об'ємні дані за дуже короткий час, не покладаючись на єдиний сервер.
Він швидкий, масштабований та надійний.
Мова запитів типу SQL, що надається тут, називається HiveQL або HQL. Це полегшує завдання ETL та інший аналіз.

Рис. 2. Властивості вулика

Зображення джерел: - Google

Також є кілька обмежень для команди Hive, які наведені нижче:

Hive не підтримує підзапити.
Hive напевно підтримує перезапис, але, на жаль, не підтримує видалення та оновлення.
Вулик не призначений для OLTP, але він використовується для нього.

Щоб увійти в інтерактивну оболонку вулика:

$ HIVE_HOME / бін / вулик

Основні команди вуликів

Створіть

Це створить нову базу даних у Hive.

Крапля

Крапля видалить стіл з вулика

Змінити

Команда Alter допоможе вам перейменувати таблицю або стовпці таблиці.

Наприклад:

вулик> АЛЬТЕР ТАБЛИЦІ ПЕРЕМЕНТУВАННЯ працівника1;

Показати

Команда Show покаже всі бази даних, що перебувають у вулику.

Опишіть

Команда Описувати допоможе вам з інформацією про схему таблиці.

Проміжні команди вуликів

Вулик розділяє таблицю на різні споріднені розділи на основі стовпців. Використовуючи ці розділи, стає легше запитувати дані. Ці розділи далі поділяються на відра, щоб ефективно виконувати запити на даних.

Іншими словами, відра розподіляють дані в набір кластерів шляхом обчислення хеш-коду ключа, згаданого в запиті.

Додавання розділу

Додавання розділу може бути здійснено шляхом зміни таблиці. Скажімо, у вас є таблиця “EMP” з такими полями, як Id, Ім'я, Зарплата, Депт, Позначення та yoj.

вулик> АЛЬТЕР СТІЛ працівник

> ДОДАТИ РОЗДІЛ (рік = '2012')

місцезнаходження '/ 2012 / частина2012';

Перейменування розділу

вулик> АЛЬТЕРНІ СТОЛІННІ РОБОТИ (рік = '1203')

ВЗАЄМОГО ДО ЧАСТИНИ (Yoj = '1203');

Відкинути розділ

вулик> АЛЬТЕР ТАБЛИЧНОГО КРОПУ (якщо є)

> ЧАСТИНА (рік = '1203');

Реляційні оператори

Реляційні оператори складаються з певного набору операторів, який допомагає отримувати відповідну інформацію.

Наприклад: Скажіть, що таблиця "EMP" виглядає так:

Давайте виконаємо запит Hive, який принесе нам працівника, зарплата якого перевищує 30000.

вулик> ВИБІР * З ЕМП, де заробітна плата> = 40000;

Арифметичні оператори

Це оператори, які допомагають у виконанні арифметичних операцій на операндах і, в свою чергу, завжди повертають типи чисел.

Наприклад: Додавання двох чисел, таких як 22 та 33

вулик> ВИБІР 22 + 33 ДОДАТИ ВІД темп;

Логічний оператор

Ці оператори повинні виконувати логічні операції, які взамін завжди повертають True / False.

вулик> ВИБІР * З ЕМП, де заробітна плата> 40000 && Dept = TP;

Розширені команди вуликів

Вид

Концепція перегляду в Hive схожа як у SQL. Перегляд може бути створений під час виконання оператора SELECT.

Приклад:

вулик> СТВОРИТИ ВИДІЛ EMP_30000 AS

ВИБІР * З ЕМП

ДЕ зарплата> 30000;

Завантаження даних у таблицю

Вулик> Завантажте дані локального inpath '/home/hduser/Desktop/AllStates.csv' у таблиці таблиць;

Тут «Держави» - це вже створена таблиця у вулику.

https://www.tutorialspoint.com/hive/

У вулику є кілька вбудованих функцій, які допомагають вам краще отримати результат.

Як кругла, підлога, BIGINT тощо.

Приєднуйтесь

Становище приєднання може допомогти приєднати дві таблиці на основі однойменного стовпця.

Приклад:

вулик> ВИБІР c.ID, c.NAME, c.AGE, o.AMOUNT

ВІД Клієнтів c ПРИЄДНАЙТЕСЯ ДО ЗАМОВЛЕННЯ o

ON (c.ID = o.CUSTOMER_ID);

Всі вулики з'єднань підтримуються вуликом: ліве зовнішнє з'єднання, праве зовнішнє з'єднання, повне зовнішнє з'єднання.

Поради та поради щодо використання команд вулика

Hive робить обробку даних такою простою, простою та розширеною, що користувач приділяє менше уваги оптимізації запитів Hive. Але при зверненні уваги на кілька речей під час написання запиту на вулик, безумовно, принесе великий успіх в управлінні навантаженням та економії грошей. Нижче наведено кілька порад щодо цього:

Розділи та відра: вулик - це великий інструмент передачі даних, який може здійснювати запити на великих наборах даних. Однак написання запиту без розуміння домену може принести великі розділи в Hive.

Якщо користувач знає набір даних, то відповідні та високо використовувані стовпці можуть бути згруповані в один розділ. Це допоможе у швидшому та неефективному виконанні запиту.

Зрештою, немає. Операції з картографуванням та введенням / виведенням також будуть зменшені.

Рис. 3. Розбиття

Зображення джерел: зображення Google

Рис. 4 Ковші

Джерела зображення: - зображення Google

Паралельне виконання: Hive виконує запит у кілька етапів. У деяких випадках ці етапи можуть залежати від інших етапів, отже, не можна починати, коли попередній етап буде завершений. Однак незалежні завдання можуть виконуватись паралельно, щоб заощадити загальний час виконання. Щоб увімкнути паралельний запуск у вулику:

встановити hive.exec.parallel = true;

Отже, це сприятиме збільшенню використання кластерів.

Блок вибірки: Вибірка даних із таблиці дозволить вивчити запити на дані.

Незважаючи на помилку, ми хочемо відібрати набір даних більш випадковим чином. Блок вибірки поставляється з різним потужним синтаксисом, який допомагає в різній формі відбирати дані.

Відбір проб може бути використаний для пошуку бл. інформація від набору даних, наприклад, середня відстань між початком та пунктом призначення.

Запит 1% великих даних дасть ідеальну відповідь. Розвідка стає простішою та ефективнішою.

Висновок - команди вулика

Вулик - це абстракція вищого рівня поверх HDFS, яка забезпечує гнучку мову запитів. Це допомагає у запиті та обробці даних більш простим способом.

Вулик можна закріпити за допомогою інших елементів великих даних, щоб повноцінно використовувати його функціональність.

Верхні команди вуликів - Особливості з підказками