Talend Open Studio - Дізнайтеся про переваги, додатки та компоненти

Вступ до Talend Open Studio

Talend пропонує Open Studio, що є відкритим кодом для інтеграції даних. У ньому більше 800+ компонентів для різних цілей інтеграції. Завантажте відкриту студію Talend з https://www.talend.com/download/

Інтеграція даних означає поєднання даних з різних джерел та об'єднання їх до єдиного перегляду, щоб отримати якісь змістовні дані з тих, які можуть допомогти компанії чи організації покращити свій бізнес шляхом аналізу цих даних. Інтеграція допомагає отримувати дані, очищати дані, роблячи необхідні перетворення тощо, а потім завантажувати їх у сховище даних.

Що таке Таленд?

Talend - це інструмент ETL, який використовується для інтеграції даних. Talend пропонує рішення для підготовки даних, якості даних, інтеграції даних та великих даних. Тут ми обговоримо деякі компоненти. Щоб легше було побачити наведений нижче приклад, оператор sim має величезні дані про плани, клієнтів, деталі sim тощо. Ці дані величезні, тому великі дані також використовуються при інтеграції.

Клієнт Купівля сім-карти за допомогою ідентифікатора уряду

Даючи своє ім'я як AB C

адреса як Chennai, Chennai

номер телефону як 1234567890

Після інтеграції даних

Ім'я: AB

Прізвище: C

Адреса: Ченнаї, Індія

Номер телефону: +911234567890

Тут дані очищаються і перетворюються на щось більш значиме.

Переваги

• Аналіз тенденцій бізнесу за допомогою інтеграції даних
• Об'єднання даних в єдину систему
• Економія часу та ефективніша та менша кількість переробок
• Легка генерація звітів - використовується засобами BI
• Обслуговування та вставка даних у сховище даних та сховища даних

Застосування

Ось такі додатки, згадані нижче

1. Робота з Talend

• Переконайтеся, що у вас встановлено java та змінні середовища.
• Завантажте відкритий код з веб-сайту Talend та встановіть програмне забезпечення.
• Створіть новий проект і закінчіть налаштування
• Talend відкриється на вкладці дизайнера.
• Talend - це інструмент на основі затемнення, і компоненти можна перетягнути з палітри, або ви можете натиснути і ввести ім'я компонентів.

2. Перше завдання Читання файлу

• Шукайте компонент tFileinputdelimited. Цей компонент використовується для читання будь-яких файлів з обмеженим доступом.
• Помістіть компонент, визначений tfileinputdelited. Шукайте tlogrow і помістіть його у конструктора робіт.
• Клацніть правою кнопкою миші tfileinputdelimited та виберіть рядок-> main та намалюйте лінію для tlogrow.
• У компоненті вкладка вибирає шлях до файлу, який ви бажаєте прочитати, і дає роздільник рядків як \ n. Якщо файл має роздільник, ви можете згадати його.
• Клацніть схему та вкажіть деталі типу стовпця, або ви можете прочитати весь рядок у вигляді рядка з одним стовпцем, а значення роздільника має бути порожнім.
• Ви також можете пропустити заголовок і колонтитул.
• У компоненті tlogrow виберіть спосіб, яким ви хочете бачити дані. Формат таблиці або однорядковий формат.
• tlogrow відображає вихід на консолі запуску.
• Після з'єднання tfileinputdelimited і tlogrow запустіть завдання з вкладки run.
• Ви можете побачити вміст файлу на консолі надрукованим.

3. Друге завдання за допомогою Tmap

• Прочитайте файл і відфільтруйте його до різних вихідних файлів.
• Прочитайте файл у компоненті tfileinputdelitedited із однією схемою стовпців як запис.
• Компонент Tmap - Цей компонент допомагає перетворювати дані за допомогою деяких вбудованих функцій, таких як пошук, приєднання тощо.
• У tmap створіть два виходи out1 та out2.
• У фільтр out1 додайте row3.record.contains ("talend") і намалюйте запис у out1.
• Намалюйте рядок запису до іншого out2.

• З tmap візьміть основні рядки і підключіться до двох tfileoutputdelimeited.
• out1 посилання на один tfileoutputdelimited1 як файл1.txt і out2 на інший tfileoutputdelimited2 як файл2.txt.
• txt матиме записи, які містять талант.
• txt матиме записи, які мають інші назви.

4. Вбудований і сховище

• Вбудований означає, що ви повинні кожен раз встановлювати схему або деталі для підключення до бази даних.
• Сховище стане в нагоді для збереження деталей у метаданих, щоб ви могли повторно використовувати ті самі деталі, не вводячи деталі кожен раз вручну. У метаданих ви можете зберегти файлові схеми, підключення до бази даних, з'єднання Hadoop, з'єднання вулика, з'єднання s3 та багато іншого.

Компоненти Talend Open Studio

Ось нижче згадуються наступні компоненти Talend Open Studio

1. tFileList

• Цей компонент перелічує файли в каталозі чи папці із заданим шаблоном маски файлів.

2. tMysqlConnection

• Цей компонент використовується для з'єднання з базою даних mysql.
• Компоненти Mysql можуть використовувати це з'єднання для зручного налаштування підключення до бази даних.

3. tMysqlinput

• Цей компонент допомагає запустити запит до бази даних mysql та отримати таблицю або стовпці. Цей компонент використовується для вибору запитів та отримання деталей.

4. tMysqlOutput

• Цей компонент використовується для вставки або оновлення даних у базу даних Mysql.

5. трюйок

• Цей компонент є першим, що виконується в роботі, і його можна з'єднати з іншими компонентами з підрядним завданням.

6. tpostjob

• Цей компонент є останнім, що виконується в роботі. Ви можете підключити це за допомогою компонентів, які закривають з'єднання.

7. tlogcatcher

• Цей компонент фіксує попередження та помилки в роботі.
• Найважливіший компонент, що використовується в техніці поводження з помилками.
• Журнали помилок можна записати за допомогою цього компонента разом із tfileoutputdelimited.
• Є понад 800+ компонентів.

Контекстна змінна

• Змінні контексту - це змінні, які можна використовувати в роботі будь-де.
• Він містить значення і може бути переданий на іншу роботу, також використовуючи компонент trun.
• Використання змінних контексту полягає в тому, що ми можемо змінювати значення для різних цілей.
• Наприклад, ми можемо мати набір значень для групи контексту розвитку та інший набір контекстних значень для виробництва.
• Таким чином, нам не потрібно змінювати завдання, достатньо лише зміни параметрів контексту.

Побудова роботи

• Щоб скласти роботу, клацніть правою кнопкою миші та виберіть «Створити завдання».
• Ви можете імпортувати завдання збірки в TAC.
• У консолі адміністрування Talend ви плануєте роботу, щоб також викликати залежність від встановленого завдання.
• Ви також можете імпортувати завдання з сховища Nexus, використовуючи завдання артефакту.

Створіть завдання в TAC

• Відкритий керівник роботи в TAC
• Клацніть нові завдання та виберіть звичайні завдання або артефакти.
• Імпортуйте вбудовану роботу або виберіть із Nexus.
• Виберіть сервер завдань, на якому буде працювати талант.
• Збережіть завдання.
• Тепер ви можете розгорнути та запустити завдання.

Висновок - Talend Open Studio

"Спростіть ETL та ELT за допомогою провідного безкоштовного відкритого джерела ETL для великих даних". У Talend Bigdata є багато компонентів для обробки величезних даних. Стандартні завдання, робота Bigdata, потокові завдання Bigdata - це різні типи робіт, доступні в Talend. Завдання Bigdata можуть бути створені в умовах іскри або зменшення карти.

Рекомендовані статті

Це посібник для Talend Open Studio. Тут ми обговорюємо переваги, додатки та компоненти Talend Open Studio. Ви також можете переглянути наступні статті, щоб дізнатися більше -

1. Посібник з інтеграції даних Talend
2. Важливі питання щодо інтерв'ю Talend
3. Talend vs Mulesoft: Відмінності
4. Таленд проти Пентахо: 8 корисних порівнянь для навчання