FlowPrefill: Оптимизация больших языковых моделей

Разработчики представили FlowPrefill — систему обслуживания больших языковых моделей (LLM), направленную на снижение задержек при обработке запросов. Проблема возникает из-за того, что долго выполняющиеся запросы могут блокировать ресурсы, необходимые для более приоритетных задач, что приводит к увеличению времени до получения первого токена (TTFT).

FlowPrefill решает эту проблему, отделяя гранулярность прерывания от частоты планирования. Система использует "операторный уровень прерывания", позволяющий прерывать выполнение на границе операторов, что более эффективно, чем разбиение на мелкие части. Также применяется "событийно-управляемое планирование", которое запускает планирование только при появлении или завершении запроса, минимизируя накладные расходы.

По результатам тестирования на реальных данных, FlowPrefill увеличивает пропускную способность вплоть до 5.6 раз по сравнению с существующими системами, одновременно обеспечивая выполнение различных требований к скорости обработки.