TiMi: Многомодальные Transformer-модели для прогнозирования временных рядов

Прогнозирование временных рядов с использованием нескольких модальностей получило значительное внимание, поскольку обладает потенциалом для предоставления более точных прогнозов, чем традиционные модели, работающие с одной модальностью, за счет использования богатой информации, присущей другим модальностям. Однако из-за фундаментальных проблем с выравниванием модальностей существующие методы часто испытывают трудности с эффективным включением многомодальных данных в прогнозы, особенно текстовой информации, которая оказывает причинное влияние на колебания временных рядов, например, сообщения о чрезвычайных ситуациях и объявления о политике.

TiMi: Модели с использованием экспертов

В данной работе рассматривается роль текстовой информации в численном прогнозировании и предлагается Time series transformers with Multimodal Mixture-of-Experts (TiMi) для раскрытия возможностей LLM в причинно-следственном рассуждении. TiMi использует LLM для генерации выводов о будущих событиях, которые служат руководством для прогнозирования временных рядов.

Интеграция факторов и временных рядов

Для беспрепятственной интеграции как внешних факторов, так и временных рядов в прогнозы, вводится модуль Multimodal Mixture-of-Experts (MMoE) в качестве легкого плагина для расширения возможностей Transformer-based моделей временных рядов для многомодального прогнозирования, устраняя необходимость в явном выравнивании на уровне представлений.

Результаты экспериментов

Экспериментально предложенный TiMi демонстрирует стабильно передовые результаты на шестнадцати реальных многомодальных бенчмарках прогнозирования, превосходя передовые базовые модели, предлагая при этом как сильную адаптивность, так и интерпретируемость.