представляем speed-bench: бенчмарк для спекулятивного декодирования

Представляем SPEED-Bench, унифицированный и разнообразный бенчмарк для спекулятивного декодирования. Спекулятивное декодирование — это многообещающая техника, призванная ускорить вывод больших языковых моделей, но ее оценка затруднена из-за отсутствия стандартизированных бенчмарков. SPEED-Bench призван решить эту проблему, предлагая всестороннюю и строгую платформу для оценки моделей спекулятивного декодирования.

SPEED-Bench включает в себя набор из 14 различных задач, охватывающих различные области, такие как понимание естественного языка, генерация текста и рассуждение. Бенчмарк включает в себя как существующие наборы данных, так и новые, специально разработанные для оценки возможностей спекулятивного декодирования. В него включены данные из наборов данных, таких как BoolQ, PIQA, QQP и другие.

Ключевой особенностью SPEED-Bench является его способность оценивать модели спекулятивного декодирования в различных сценариях. Бенчмарк измеряет как скорость, так и точность моделей, предоставляя полное представление об их производительности. Он также включает в себя набор контрольных показателей для оценки надежности и устойчивости моделей.

Оценка на SPEED-Bench показала, что различные модели спекулятивного декодирования демонстрируют значительные различия в производительности. Некоторые модели превосходят другие по скорости, в то время как другие демонстрируют лучшую точность. Результаты подчеркивают важность тщательной оценки моделей спекулятивного декодирования, прежде чем развертывать их в приложениях реального мира. Дополнительную информацию о SPEED-Bench можно найти в документе. Код и наборы данных доступны на Hugging Face.