Інструменти таланту - Різні інструменти або компоненти Talend для інтеграції даних

Вступ в Інструменти Talend

Talend open studio має понад 700 компонентів у таких областях, як великі дані, бази даних, хмара тощо. Відкриту студію Talend можна розділити на багато таких як Talend open studio для інтеграції даних та Talend open studio для великих даних тощо. У цій статті ми детально побачать різні інструменти таланту.

Talend Open Studio Компоненти / Інструменти

Talend Open Studio для інтеграції даних охоплює такі області / технології з деякими вбудованими компонентами, що допомагає легко оброблятись.

Великі компоненти даних
Бізнес компоненти
Компоненти Business Intelligence
Хмарні компоненти
Компоненти спеціального коду
Компоненти якості даних
Бази даних - традиційні компоненти
Бази даних - компоненти пристрою / сховища даних
Бази даних - інші компоненти
Компоненти DotNET
Компоненти ELT
Компоненти ESB
Файлові компоненти
Інтернет-компоненти
Компоненти журналів та помилок
Компоненти різної групи
Компоненти оркестрації
Обробка компонентів
Системні компоненти
Talend компоненти MDM
Технічні компоненти
XML компоненти

Тут ми обговоримо кілька компонентів від Talend Open Studio для інтеграції даних.

1. tS3Connection: Цей компонент використовується для з'єднання з amazon s3. Компоненти можуть використовувати це з'єднання для зручного налаштування підключення до amazon s3.

2. tS3Input: використовується для зчитування файлу з файлової системи S3. Він має деякі функції, схожі на tfileinputdelimited, але використовує послугу Amazon Simple Storage.

3. tS3Output: використовується для запису даних у файлову систему S3. Він має деякі функції, схожі на tfileoutputdelimited, але використовує послугу Amazon Simple Storage.

4. ts3Put: використовується для розміщення файлу у файловій системі S3 з локальної системи.

5. ts3Get: Цей компонент використовується для отримання файлу з S3 в локальну систему.

6. tS3BucketCreate: Цей компонент використовується для створення відра на S3.

7. tS3BucketDelete: Цей компонент використовується для видалення відра на S3.

8. tS3BucketExist: Цей компонент використовується для перевірки існування даного відра на S3. Він повертає результат у справжнє або хибне булеве значення, яке може бути використане як глобальна карта.

9. tS3BucketList: Цей компонент використовується для списку всіх відро на S3.

10. tS3Copy: Цей компонент використовується для копіювання об'єкта S3 з одного відра в інше. Він схожий на tFileCopy.

11. tS3Delete: Цей компонент використовується для видалення об'єкта S3 з відра. Він схожий на tFileDelete.

12. tS3Close: Цей компонент використовується для закриття з'єднання S3, створеного за допомогою tS3Connection.

13. tCreateTemporaryFile: Цей компонент створює тимчасовий файл на зразок tFileOutputDelimited, але цей тимчасовий файл може бути видалений автоматично після завершення завдання, або його можна зберегти.

14. tFileArchive: Цей компонент використовується для створення стиснутого файлу з одного або декількох файлів. Шифрування також може застосовуватися при стисненні.

15. tFileCompare: Цей компонент використовується для порівняння двох файлів та повернення даних порівняння.

16. tFileUnarchive: Цей компонент використовується для розтискання заархівованого файлу.

17. tFileCopy: Цей компонент використовується для копіювання файлу або папки в цільовий каталог.

18. tFileDelete: Цей компонент використовується для видалення файлу або папки.

19. tFileExist: Цей компонент використовується для перевірки наявності файлу чи ні. Він повертає результат у справжнє або хибне булеве значення, яке може використовуватися як globalMap.

20. tFileInputExcel: Цей компонент використовується для зчитування файлу Excel на основі визначеної схеми.

21. tMsgBox: Цей компонент використовується для відображення діалогового вікна за допомогою кнопки ОК.

22. tRowGenerator: Цей компонент використовується для створення будь-якої кількості рядків зі стовпцями, що мають конкретні значення або випадкові значення. Він використовується здебільшого для тестування та створення зразкових тестових файлів.

23. tIterateToFlow: Він використовується для перетворення списку потоків у основний потік, що означає ітерацію-> рядок-> головний.

24. tFlowToIterate: Він використовується для перетворення основного потоку у список потоків, що означає main-> row-> iterate.

25. tLoop: використовується для циклу певного завдання.

26. tРеплікація: використовується для реплікації вхідної схеми у два вихідні потоки.

27. tRunJob: Використовується для запуску іншої роботи таланту в поточній роботі після підзадачі.

28. tSleep: використовується для виконання завдання або певної паузи підзадачі на заданий час у секундах.

29. tWaitForFile: Він перегляне конкретний каталог і запустить наступний компонент на основі умови.

30.tMysqlBulkExec: Цей компонент використовується для забезпечення підвищення продуктивності під час виконання операцій Insert в базі даних Mysql.

31. tMysqlClose: Цей компонент використовується для закриття з'єднання mysql, яке створюється tMysqlConnection.

32. tMysqlRow: Цей компонент використовується для запуску запиту SQL безпосередньо в базі даних MySQL.

33. tMysqlTableList: Цей компонент використовується для переліку імен таблиць.

34. tMysqlColumnList: Цей компонент використовується для ітерації всіх стовпців таблиці.

35. tMysqlCommit: Цей компонент використовується для внесення змін, внесених до бази даних Mysql.

36. tMysqlLastInsertId: Цей компонент використовується для отримання останнього вставленого ключового значення

37. tMysqlOutputBulk: Цей компонент використовується для запису файлів із стовпцями на основі роздільника

38. tMysqlOutputBulkExec: Цей компонент використовується для запису файлів у стовпці на основі роздільника, а потім виконує файл у базі даних Mysql.

39. tContextLoad: Цей компонент використовується для завантаження значень у контекст із вхідного потоку. Контексні змінні повинні бути створені перед завантаженням значень у змінні контексту. Якщо змінні контексту не створені, вони покажуть попередження.

40. tHiveClose: Цей компонент використовується для закриття з'єднання, створеного за допомогою tHiveConnection.

41. tHiveConnection: Цей компонент використовується для створення з'єднання вулика та може бути використаний іншими компонентами вулика.

42. tHiveRow: Цей компонент використовується для прямого запуску запитів Hive.

Висновок

Компоненти HDFS можна побачити у відкритій студії Talend для Big data.
thdfsinput, thdfsoutput - це деякі компоненти, і вони схожі на компоненти файлів.
tHDFSInput - читає файл, розташований у заданій розподіленій файловій системі Hadoop (HDFS). Він має деякі функції, схожі на tfileinputdelimited, але використовує розподілену файлову систему Hadoop.
tHDFSOutput - записує файл у розподілену файлову систему Hadoop (HDFS).
Він має деякі функції, схожі на tfileoutputdelimited, але використовує розподілену файлову систему Hadoop.
tHDFSPut - використовується для розміщення файлу у файловій системі HDFS з локальної системи.
tHDFSGet - Цей компонент використовується для отримання файлу з HDFS в локальну систему.