✅ Список команд Hadoop FS - Топ-13 команд Hadoop FS

Вступ до списку команд Hadoop FS

Вступ до списку команд Hadoop FS

Hadoop працює над власною файловою системою, яка розповсюджена в природі, відомою як "Файлова система HDFS з розподіленою Hadoop " . Hadoop покладається на розподілене зберігання та паралельну обробку. Цей спосіб зберігання файлу у розподілених місцях у кластері відомий як файлова система Hadoop, тобто HDFS. Для виконання різних операцій на рівні файлів HDFS надає власний набір команд, відомих як команд файлової системи Hadoop. Давайте вивчимо ці команди. У цій темі ми дізнаємось про командування Hadoop FS.

Команди Hadoop FS

Будь-яка команда HDFS має префікс "hdfs dfs". Це означає, що ми вказуємо, що файлова система за замовчуванням - HDFS. Давайте вивчимо команди по черзі

1. Версії

Команда версія використовується для пошуку версії Hadoop, встановленої в системі.

Синтаксис: Hadoop version

2. ls командування

Команда ls в Hadoop використовується для визначення списку каталогів на згаданому шляху. Команда ls приймає hdfs шлях як параметр і повертає список каталогів, присутніх у шляху.

Синтаксис: hdfs dfs -ls

Приклад: hdfs dfs -ls / user / harsha

Ми також можемо використовувати -lsr для рекурсивного режиму

Синтаксис: hdfs dfs –lsr

3. Котяча команда

Команда Cat використовується для відображення вмісту файлу на консолі. Ця команда приймає шлях аргументу hdfs як аргумент і відображає вміст файлу.

Синтаксис: hdfs dfs -cat

Приклад: hdfs dfs -cat /user/harsha/empnew.txt

4. команда mkdir

Команда mkdir використовується для створення нового каталогу у файловій системі hdfs. Він бере аргумент hdfs як аргумент і створює новий каталог у вказаному шляху.

Синтаксис: hdfs dfs -mkdir

Приклад: hdfs dfs -mkdir / user / example

На наведеному вище скріншоті чітко показано, що ми створюємо новий каталог під назвою "example" за допомогою команди mkdir, і те саме показано, що використовується команда ls.

Також для команди mkdir ми можемо дати опцію '-p'. Він створює батьківські каталоги на шляху, якщо вони відсутні.

Приклад: hdfs dfs -mkdir -p / user / test / example2

На наведеному вище скріншоті цілком очевидно, що у нас є опція -p, а в шляху / user / test / example2 створюються і тести, і каталоги example2.

5. поставити команду

Поміщення команди в HDFS використовується для копіювання файлів із заданого місця розташування до місця призначення hdfs. Тут джерелом розташування може бути шлях до локальної файлової системи. Команда put бере два аргументи, перший - шлях до каталогу джерел, а другий - цільовий шлях HDFS

Синтаксис: hdfs dfs -put

Приклад: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2

На наведеному вище скріншоті ми чітко бачимо, що файл скопійовано з джерела до місця призначення.

6. Команда copyFromLocal

Копія copyFromLocal в HDFS використовується для копіювання файлів з вихідного контуру в шлях призначення. Джерело в цій команді обмежено локальною файловою системою

Синтаксис: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example

Різниця між командою put і copyFromLocal Command: Немає великої різниці між цими двома командними оболонками hdfs. Обидва вони використовуються для копіювання з локальної файлової системи для націлювання на шлях до файлів HDFS.

Але команда put є більш корисною та надійною, оскільки дозволяє копіювати декілька файлів або каталогів до місця призначення в HDFS

hdfs dfs -put

7. отримати команду

Команда get в hdfs використовується для копіювання заданого файлу або каталогу hdfs до цільового шляху локальної файлової системи. Він бере два аргументи, один - шлях до hdfs до джерела, а інший - шлях до локальної файлової системи

Синтаксис: hdfs dfs -get

Приклад: hdfs dfs -get / user / test / example2 / home / harsha

8. Команда copyToLocal

Команда copyToLocal в hdfs використовується для копіювання файлу або каталогу в hdfs до локальної файлової системи. У цій команді місце призначення фіксується в локальній файловій системі. Ця команда copyFromLocal схожа на команду get.

Синтаксис: hdfs dfs -copyToLocal

Приклад: hdfs dfs -copyToLocal / user / harsha / example / home / harsha

9. команда підрахунку

Команда count у hdfs використовується для підрахунку кількості каталогів, присутніх на даному шляху. Команда count приймає даний аргумент як аргумент і дає кількість каталогів, присутніх на цьому шляху.

Синтаксис: hdfs dfs -count

Приклад: hdfs dfs -count / user

10. команда mv

Команда mv в hdfs використовується для переміщення файлу між hdfs. Команда mv бере файл або каталог з заданого шляху до hdfs та переміщує його до цільового шляху hdfs.

Синтаксис : hdfs dfs -mv

Приклад : hdfs dfs -mv / user / test / example2 / user / harsha

На наведеному вище скріншоті ми бачимо, що каталог example2 зараз присутній в / user / harsha

11. команда setrep

Команда setrep в hdfs використовується для зміни коефіцієнта реплікації даного файлу. За замовчуванням hdfs має коефіцієнт реплікації '3'. Якщо даний шлях є каталогом, ця команда змінить коефіцієнт реплікації всіх файлів, присутніх у цьому каталозі.

Синтаксис: hdfs dfs -setrep (-R) (-w)

-w: Цей прапор вказує, що команда повинна чекати завершення реплікації.

rep: коефіцієнт реплікації

Приклад: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt

12. командування du

Команда du в hdfs показує використання диска для заданого шляху hdfs. Він приймає шлях hdfs як вхід і повертає використання диска в байтах.

Синтаксис : hdfs dfs -du

Приклад: hdfs dfs -du /user/harsha/empnew.txt

13. команда rm

Команда rm в hdfs використовується для видалення файлів або каталогів із заданого шляху hdfs. Ця команда бере шлях hdfs як вхідний і видаляє файли, присутні на цьому шляху.

Синтаксис : hdfs dfs -rm

Приклад : hdfs dfs -rm / user / harsha / example

Висновок - командування Hadoop FS

Цим ми дізналися про різні команди hdfs, їх відповідні синтаксиси та приклади. Ми повинні відзначити, що запускаються будь-які команди hdfs, нам потрібен сценарій запуску bin / hdfs. hdfs супроводжується параметром, відомим як dfs, який вказує на те, що ми працюємо з розподіленою файловою системою Hadoop. За допомогою вищезазначених команд ми можемо домовитись з файловою системою HDFS.

Список команд Hadoop FS - Топ-13 команд Hadoop FS