Команди Sqoop - Основні команди з підказками

• Вступ до команд Sqoop

Вступ до команд Sqoop

У командах Sqoop кожен рядок трактується як записи, а завдання підрозділяються на підзадачі за допомогою Завдання Карти внутрішньо. Бази даних, які підтримуються sqoop, - це MYSQL, Oracle, IBM, PostgreSQL. Sqoop забезпечує простий командний рядок, ми можемо отримувати дані з різних баз даних за допомогою команд sqoop. Вони написані на Java та використовують JDBC для підключення до інших баз даних.

Він розшифровується як «SQL до Hadoop» та Hadoop до SQL та інструмент з відкритим кодом. Це інструмент для з'єднання додатків, який передає об’ємні дані між реляційною системою баз даних та Hadoop (Hive, карта зменшення, Mahout, Pig, HBase). Вони дозволяють користувачам визначати цільове розташування всередині Hadoop та змушують sqoop переміщувати дані з RDMS до цільових. Вони надають оптимізовані роз'єми MySQL, які використовують API, характерний для баз даних, щоб повністю здійснювати об'ємні передачі. Користувач імпортує дані із зовнішніх джерел, таких як Hive або Hbase. Квадрат має два формати файлів: розмежений формат текстового файлу та формат послідовного файлу.

Ось основні команди команд Sqoop:

1. Таблиця списку:

Ця команда перераховує конкретну таблицю бази даних на сервері MYSQL.

Приклад:

2. Цільовий каталог:

Ця таблиця імпорту команд у конкретному каталозі в HDFS. -m позначає аргумент картографа. Вони мають ціле значення.

Приклад:

3. Захист паролем:

Приклад:

4. sqoop-eval:

Ця команда швидко виконує запити SQL відповідної бази даних.

Приклад:

5. sqoop - версія:

Ця команда відображає версію sqoop.

Приклад:

6. sqoop-робота

Ця команда дозволяє нам створити завдання, параметри, які створюються, можна викликати в будь-який час. Вони приймають такі параметри, як (–створити, –запустити, –показ, –вийти).

Приклад:

7. Завантаження CSV-файлу в SQL:

Приклад:

8. Роз'єм:

Приклад:

9. код коду:

Ця команда Sqoop створює файли класу java, які інкапсулюють імпортовані записи. Усі файли java відтворені та створені нові версії класу. Вони генерують код для взаємодії із записами бази даних. Отримує список усіх стовпців та їх типів даних.

Приклад:

10.Список-база даних:

Цей список команд Sqoop має всю доступну базу даних на сервері RDBMS.

приклад:

Проміжні команди команд Sqoop:

1.sqoop -meta магазин:

Ця команда розміщує спільне сховище метаданих. Кілька / віддалені користувачі можуть виконувати кілька завдань.

Команда:

$ sqoop .metastore.client.autoconnect.url

приклад: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop -help:

Ця команда перераховує інструменти, наявні в sqoop, та їх призначення.

Команда:

Довідка $ sqoop

$ bin / sqoop допомагають імпортувати

3. Експорт:

Ця команда експортує дані з HDFS в базу даних RDMS. У HDFS дані зберігаються як записи.

Команда:

$ sqoop export \ –connect jdbc: mysql: // localhost / інвентар - ім'я користувача jony –table lib –export -dir / user / jony / інвентар.

4. Вставте:

Ця команда вставляє новий запис із HDFS в таблицю RDBMS.

Командування

$ sqoop export – підключити JDBC: MySQL: // localhost / sqoop_export - таблиця emp_exported –export -dir / sqoop / newemp -m -000

5. Оновлення:

Ця команда Sqoop оновлює записи в RDBMS з даних HDFS.

Командування

$ sqoop export – підключити JDBC: MySQL: // localhost / sqoop_export - таблиця emp_exported –export -dir / sqoop / newemp -m -000 –update -key id

6. Варіант партії:

Ця команда вставляє кілька рядків разом, вони оптимізують швидкість вставки за допомогою драйвера Sqoop JDBC.

Командування

$ sqoop export \ -connect JDBC: MySQL: // ім'я хоста / –користувач -password -експорт -dir

7. Розділити:

При використанні цієї команди пункт де застосовується до всього SQL.

Командування

$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT – table JUNK - де «rownum <= 12»

8. Файл AVRO в HDFS:

Вони зберігають дані RDBMS як файл Avro.

Командування

$ sqoop import - підключіть JDBC: MySQL: // localhost / Acadgild –користувач-корінь – пароль pp.34 –платеж -m1 –target -dir / sqoop_data / Payment / avro / == as -avrodatfile.

Розширені команди команд Sqoop:

Команди імпорту:

Команди імпорту містять аргументи контролю імпорту. різні аргументи такі:

• межа: використовується для створення розколи.
• як - текстовий файл: імпортує звичайні текстові дані
• -стовпці (: стовпці імпорту для таблиці
• -m, - num: імпорт паралельних завдань картографування
• розділений: Розбиває стовпчик таблиці
• -z, - стиснення: увімкнено стиснення даних.

Аргументи по імпортному імпорту:

• check - column: Позначає стовпці, щоб визначити, які рядки потрібно імпортувати.
• поступовий (режим): вказує нові рядки (включають додавання та останню зміну рядків)

Аргументи вихідного рядка:

• лінії -викінчені -by: вони задають характер eol
• MySQL - роздільники: вони встановлюють \ n поля: рядки:

Імпорт у вулик

-вулик - імпорт: вони імпортують таблиці у вулик

-вулик - ключ-розділ: ім'я розділу розділено.

-вулик - перезапис: вони перезаписують дані в існуючій таблиці.

Імпорт аргументів на базу даних:

-акумуляційна таблиця: Це визначає цільову таблицю в HBase.

-accumulo-Column: Для імпорту він встановлює цільовий стовпець.

-accumulo -: імпортувати назву акумулятора

–Accumulo -: імпортувати пароль накопичувача

Зберігання у файлах послідовності:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -інвентарний інвентар \ - ім'я класу com.foo.com.Inventory -as - послідовний файл

Імпорт запиту:

Ця команда задає оператор Sql з аргументом -query.

$ sqoop import \ –query 'SELECT a. *, b. * from JOIN b on (a.id = b.id), де $ умови' \ -split - by / target-dir / user

Зростання експорту:

експорт $ sqoop –connect –table –username –password –incremental –check-row –last-value

Імпорт всіх таблиць у HDFS:

$ sqoop import -all - table –connect jdbc: mysql: // localhost / sale_db - root користувача.

Імпорт даних у вулик:

$ sqoop import –connect –table –username –password – вулик –import - вулик-table

Імпорт даних у HBase:

команда:

імпорт $ sqoop – підключення –таблет –користувач –парла – вулик –імпорт - HBase -table

Кодування нульових значень:

команда:

$ mysql import \ –подключити JDBC: MySQL: //mysql.ex.com/sqoop \ –користувач sqoop \ -password sqoop \ – table lib \ –null -string '

Підказки щодо використання команд Sqoop:

Якщо ми хочемо ефективно виконувати операції з даними, тоді ми повинні використовувати sqoop, просто за допомогою одного командного рядка ми можемо виконувати в ньому безліч завдань і підзадач. Sqoop підключається до різних реляційних баз даних через з'єднувачі, вони використовують драйвер JDBC для взаємодії з ним. Оскільки sqoop працює на власному джерелі, ми можемо виконати sqoop без процесу встановлення. Виконання sqoop просте, тому що виконайте дані паралельно. Використовуючи зменшення карт, ми можемо імпортувати та експортувати дані, що, в свою чергу, забезпечує паралельне виконання.

Висновок - Команди Sqoop:

На закінчення, Sqoop Commands регулює процес імпорту та експорту даних. Sqoop надає можливість оновлювати частини таблиці за рахунок додаткового навантаження. Імпорт даних у sqoop не керується подіями. А також є sqoop2 з включеним графічним інтерфейсом для легкого доступу разом з командним рядком. Передача даних відбувається швидко, оскільки вони передаються паралельно. Вони відіграють життєво важливу роль у середовищі Hadoop. Вони виконують свою роботу самостійно, не потрібно під час імпорту невеликих наборів даних.

Рекомендовані статті

Це був посібник для команд Sqoop. Тут ми обговорили основні, а також вдосконалені команди Sqoop та деякі безпосередні команди Sqoop. Ви також можете переглянути наступну статтю, щоб дізнатися більше -

1. Питання та відповіді щодо інтерв'ю Sqoop
2. Чит аркуш SQL (Команди, безкоштовні поради та підказки)
3. Важливі команди VBA
4. Команди Табау