Бессерверная архитектура MLOps для предсказания кодов ТН ВЭД

Исследователи представили бессерверную платформу MLOps, автоматизирующую полный цикл машинного обучения — от сбора данных и обучения до развертывания, мониторинга и повторного обучения. Платформа построена на основе событийных пайплайнов и управляемых сервисов, не привязана к конкретной модели и поддерживает различные способы инференса через стандартизированные интерфейсы.

В качестве примера применения выступила система предсказания кодов Гармонизированной системы (HS) — стандартизированных кодов для таможенного оформления товаров. Система решает задачу классификации коротких и неструктурированных описаний товаров, что особенно сложно из-за частых обновлений и неоднозначности формулировок. Использование Text-CNN позволило добиться 98% точности.

Ключевой особенностью платформы является автоматическое A/B-тестирование, которое позволяет динамически выбирать и внедрять лучшие модели, а также автоматическое масштабирование для обеспечения SLA при переменной нагрузке. При этом, приоритет отдается предсказуемости, надежности и объяснимости классификации, хотя архитектура может быть расширена для работы с трансформерами и LLM.

Решение обеспечивает воспроизводимость, аудит и оптимизацию затрат. Авторы утверждают, что предложенная архитектура может быть использована в других проектах для масштабирования машинного обучения с одновременной оптимизацией производительности и экономики.