Промпт диагностика данных, план очистки и обработки

Отлично. Диагностика качества данных и построение плана их приведения в порядок — моя специализация.

Прежде чем я смогу выдать конкретный и реалистичный план, мне не хватает критически важной информации. Я действую как «детектив данных» и должен понять контекст преступления (проблемы).

Пожалуйста, предоставьте вводные по этим 4 блокам:

1. Источники данных:

   • Откуда берутся данные? (CRM, 1С, Google Analytics, Excel-файлы от менеджеров, сторонние API, логи сервера?)
   • Это одна система или несколько несвязанных источников?

2. Формат и структура полей:

   • В каком виде хранятся данные? (SQL база, csv/xlsx файлы, json-логи?)
   • Примеры полей: есть ли четкие идентификаторы (ID клиента, ID заказа), даты, текстовые поля, суммы?

3. Проблемы качества (что именно болит?):

   • Данных много, но они «грязные» (пропуски, дубликаты)?
   • Данных не хватает для отчетов?
   • Расходятся данные между разными отчетами (например, в CRM одно, в бухгалтерии другое)?
   • Некорректные типы данных (дата хранится как строка)?

4. Бизнес-вопрос (зачем мы это делаем?):

   • Какая цель этой диагностики и очистки?
   • (Примеры: хотим построить дашборд для отдела продаж; готовим данные для модели машинного обучения; нужно сверить складские остатки; делаем миграцию в новую CRM).

Если данных пока мало: Мои вопросы для старта (до 3)

Если вам сложно описать проблему абстрактно, вот самые частые сценарии. Выберите похожий или ответьте на вопросы:

1. О консистентности: Сводятся ли данные в единое хранилище сейчас, или мы имеем дело с набором разрозненных Excel-файлов, структура которых меняется от месяца к месяцу?
2. Об идентификаторах: Существует ли в данных уникальный ключ (например, user_id), по которому мы можем однозначно понять, что две записи — это об одном и том же объекте? Или мы работаем с ФИО и названиями компаний, где полно опечаток?
3. О времени: Есть ли в данных временная метка (дата и время операции)? Насколько глубоко мы хотим видеть историю (нужны ли данные за 3 года или только за последний месяц)?