Чим інженерія даних відрізняється від науки даних?
Інженерія даних відбувається раніше, ніж наука про дані в життєвому циклі даних. Дані можуть генеруватися з різних джерел, і ці сирі дані можуть бути структурованими, напівструктурованими або навіть неструктурованими. Для того, щоб ці дані мали сенс, дані повинні бути засвоєні та перетворені. Саме тоді в картину потрапляє інженерія даних. Інженерія даних включає в себе процес вилучення сирих даних, введення даних в систему, наприклад, озеро даних, перетворення даних для потреб бізнесу і, нарешті, завантаження їх в таблицю. Цей процес відомий як ELT (Extract-Load-Transform). ETL (Extract-Transform-Load) також можливий там, де трансформація відбувається перед етапом завантаження.
Data Science and Analytics - це наступний крок у життєвому циклі даних. Після того, як дані, необхідні для конкретних потреб бізнесу, доступні, вчені використовують ці дані, щоб запустити моделі машинного навчання, щоб знайти найбільш точну модель. Ці дані доступні для науковців даних у вигляді таблиць. Аналітики даних також використовують ці дані для проведення дослідницького аналізу та створення панелей.
По суті, життєвий цикл даних виглядатиме наступним чином:
Сирові дані з різних джерел -> Data Engineering -> Data Science and Analytics