Вступ до створення тестових даних
Дані тестування - це будь-які дані, надані моделі машинного навчання для перевірки його продуктивності та надійності. Для того, щоб отримати моделі машинного навчання з відмінними показниками, для Data Scientist важливо навчити його з усіма можливими варіаціями даних, а потім перевірити цю модель ще більш різноманітними та складними, але всеохоплюючими даними. Часто стає важко включати всі сценарії та варіації в дані випробувань, отримані після розбиття випробувань поїздів. Отже, стає важливим створити набір даних із усіма охопленими випадками використання, які найкраще можуть оцінити ефективність нашої моделі. Процес генерації такого набору даних відомий як Тестова генерація даних.
Правила формування тестових даних у машинному навчанні
У сучасному світі, коли складність з кожним днем збільшується, а термін доставки скорочується, науковцям потрібно якомога швидше підготувати найкращі моделі. Однак створені моделі стають лише найкращими моделями після того, як вони були протестовані на всіх можливих сценаріях. Усі ці сценарії можуть бути неможливими для науковця з собою, і тому йому може знадобитися створити синтетичні дані для тестування моделей.
Отже, щоб створити ці синтетичні набори даних, потрібно пам’ятати про певні правила чи рекомендації:
- Ви повинні спостерігати за статистичним розподілом кожної функції в оригіналі чи реальному наборі даних. Тоді відповідно нам потрібно створити тестові дані з однаковими статичними розподілами.
- Нам потрібно зрозуміти наслідки взаємодії, які мають функції один над одним або залежною від змінної. Цим ми маємо на увазі сказати, що нам потрібно зберегти відносини між змінними. Подивіться на одноманітні, біваріантні відносини і спробуйте мати однакові відносини при створенні тестових даних.
- Отримані дані мають бути переважно випадковими та нормально розподіленими.
- У випадку алгоритмів класифікації нам потрібно контролювати кількість спостережень у кожному класі. Ми можемо або спостереження рівномірно розподілити, щоб полегшити тестування, або мати більше спостережень в одному з класів.
- У дані можна вводити випадковий шум для тестування моделі ML на аномалії.
- Нам також потрібно зберегти шкалу значень і варіацій особливостей тестових даних, тобто значення функції повинні бути зображені правильно. Напр. Значення віку повинні бути навколо дужки 0-100, а не деяке число в тисячах.
- Нам знадобиться надзвичайно багатий і досить великий набір даних, який може охопити всі сценарії тестових випадків та всі сценарії тестування. Погано розроблені дані тесту можуть не перевірити всі можливі тести чи реальні сценарії, які будуть гальмувати продуктивність моделі.
- Нам потрібно генерувати набір даних досить великий, щоб не тільки продуктивність, але і стрес-тестування проводилися моделі та програмної платформи.
Як генерувати тестові дані?
Як правило, тестові дані - це сховище даних, що генерується програмно. Деякі з цих даних можуть бути використані для перевірки очікуваних результатів моделі машинного навчання. Ці дані також можуть бути використані для перевірки здатності моделі машинного навчання обробляти люди, що перебувають у спорті та невидимі ситуації, подані як вхід до моделі. Важливо знати, який тип тестових даних потрібно генерувати та з якою метою.
Як тільки ми це дізнаємось, ми можемо скористатися будь-яким із наведених нижче способів для генерування тестових даних:
1. Ми можемо генерувати дані тесту вручну відповідно до наших знань про домен та виду тестування, яке нам потрібно зробити на конкретній моделі машинного навчання. Ми можемо використовувати excel для створення таких типів наборів даних.
2. Ми також можемо спробувати скопіювати величезні фрагменти даних, які нам доступні у виробничому середовищі, внести необхідні зміни до них, а потім протестувати моделі машинного навчання.
3. На ринку існує багато інструментів, доступних безкоштовно або платно, які ми можемо використовувати для створення тестових наборів даних.
4. Тестові набори даних також можна генерувати за допомогою R або Python. Існує кілька пакетів, таких як фейкер, які можуть допомогти вам у створенні синтетичних наборів даних.
Перевага генерації тестових даних
Хоча дані тестування були сформовані деякими способами і не є реальними, це все-таки фіксований набір даних, з фіксованою кількістю вибірок, фіксованою схемою та фіксованою ступенем розділеності класів. Існує ще кілька переваг, які дає тестування даних:
1. Багатьом організаціям може не бути зручно ділитися конфіденційними даними своїх користувачів своїм постачальникам послуг, оскільки це може порушити закони про безпеку та конфіденційність. У цих випадках згенеровані дані тесту можуть бути корисними. Він може копіювати всі статистичні властивості реальних даних без викриття реальних даних.
2. Використовуючи створені тестові дані, ми можемо включати сценарії в ті дані, з якими ми ще не стикалися, але ми очікуємо або може зіткнутися найближчим часом.
3. Як було обговорено раніше, згенеровані дані зберігатимуть одновимірні, двоваріантні та багатоваріантні зв’язки між змінними, а також зберігатимуть конкретні статистичні дані.
4. Після того, як ми отримали наш метод генерування даних, стає легко створити будь-які тестові дані та заощадити час на пошук даних або на перевірку працездатності моделі.
5. Дані тестів забезпечили б команді дуже потрібну гнучкість для коригування даних, що створюються як і коли, для того, щоб вдосконалити модель.
Висновок
На закінчення, добре розроблені дані тестування дозволяють нам виявити та виправити серйозні недоліки в моделі. Наявність доступу до високоякісних наборів даних для тестування моделей машинного навчання допоможе неабияк у створенні надійного та бездоганного продукту AI. Покоління наборів даних про синтетичні тести - це користь у сучасному світі, де конфіденційність
Рекомендовані статті
Це було керівництвом для створення тестових даних. Тут ми обговорюємо правила та способи генерації тестових даних з їх перевагами. Ви також можете переглянути наступні статті, щоб дізнатися більше -
- Тест на фуз
- Машинне навчання даних з наукових даних
- Інструменти наукових даних
- Технології великих даних