МЕТОДОЛОГІЯ АНАЛІЗУ ТА ПОПЕРЕДНЬОЇ ОБРОБКИ ДАНИХ ДЛЯ ВИРІШЕННЯ ЗАДАЧ МАШИННОГО НАВЧАННЯ
DOI:
https://doi.org/10.34132/mspc2025.01.14.07Ключові слова:
Ключові слова, методологія аналізу та попередньої обробки даних, методи генерації ознак, методи обробки пропусків в даних, методи обробки аномальних значень, методи ідентифікації нелінійностей та нестаціонарностей та методи нормалізації.Анотація
В статті описується та досліджується методологія аналізу та попередньої обробки даних для вирішення задач машинного навчання. Методологія об’єднує на основі системного підходу наступні групи методів: методи обробки пропусків в даних, методи обробки аномальних значень, методи генерації ознак, методи ідентифікації нелінійностей та нестаціонарностей та методи нормалізації. Досліджено метод генерації ознак. Методи відбору і генерації ознак поділяють на три основні групи: методи фільтрації, методи обгортки і вбудовані методи. Метод генерації ознак складається з п’яти кроків для ефективного вибору найбільш релевантних ознак набору даних. Він пропонує кращий підхід до відбору ознак. Це призводить до покращення продуктивності моделі з меншою кількістю ознак і скорочення обчислювальних витрат. Для експериментальної перевірки методології аналізу та попередньої обробки даних була розглянуто створення системи класифікації якості червоних вин. Для вирішення завдання класифікації якості вина було проведено моделювання з використанням різних алгоритмів. Було доведено ефективність методу для вирішення задач аналізу та попередньої обробки даних для вирішення задач класифікації.
Посилання
Roonizi, K. (2023) Kalman filter/smoother-based design and implementation of digital IIR filters, Signal Processing, vol. 208, 108958. URL: https://doi.org/10.1016/j.sigpro.2023.108958
Bidyuk, P., Kalinina, I. & Gozhyj, A. (2022) An Approach to Identifying and Filling Data Gaps in Machine Learning Procedures. Lecture Notes on Data Engineering and Communications Technologies, vol. 77, (pp. 164–176). [in Switzeland]
Kiptoon, D. (2023) Understanding Feature Engineering in Machine Learning. [Online]. URL: https://medium.com/@jdkiptoon/understanding-feature-engineering-in-machine-learning-59fc343a29c9 (application date: 15.08.2024).
Kalinina, I. & Gozhyj, A. (2022) Modeling and forecasting of nonlinear nonstationary processes based on the Bayesian structural time series. Applied Aspects of Information Technology, vol. 5, no. 3, (pp. 240-255). URL: https://doi.org/10.15276/aait.05.2022.17.
