От analytics engineering к ai: ключевые отличия и вызовы

Когда я только начинал работать в analytics engineering, я думал, что знание SQL, Python и инструментов вроде dbt покроет большую часть реальных задач
Но столкнулся с тем, что в AI-проектах возникают совершенно иные вызовы

Во-первых, в отличие от типичных аналитических задач, где данные уже очищены и структурированы, в AI-проектах часто приходится работать с «сырыми» данными — текстами, изображениями, логами — и чистить их самостоятельно
При этом не всегда есть понимание, какие именно поля и структуры важны для модели

Во-вторых, в аналитике мы привыкли к детерминированным запросам: один и тот же SQL-запрос всегда возвращает одинаковый результат
В AI же даже один и тот же датасет, обработанный разными командами, может привести к различным моделям из-за различий в предобработке, выборе признаков или гиперпараметров

В-третьих, часто приходится взаимодействовать с ML-инженерами и исследователями, у которых иной подход к документированию и управлению данными
Их пайплайны могут включать не только SQL, но и сложные Python-скрипты, Jupyter-ноутбуки и библиотеки вроде pandas, PyTorch или TensorFlow

И, наконец, в аналитике мы измеряем успех по метрикам вроде точности отчётов или времени выполнения запросов
В AI — по таким метрикам, как accuracy, F1-score, AUC-ROC, а также по бизнес-показателям, связанным с результатом работы модели (например, конверсия, отток)

Так что, несмотря на схожесть некоторых инструментов, переход от analytics engineering к AI требует переосмысления всей цепочки работы с данными
И, как показала практика, самое сложное — это не технические навыки, а понимание того, как модель используется в реальной системе и какие данные для неё действительно важны