3LM: Новый тест для оценки LLM на арабском языке

Разработан новый комплексный тест под названием 3LM, предназначенный для оценки возможностей больших языковых моделей (LLM) в области STEM (наука, технология, инженерия и математика) и программирования на арабском языке. До этого момента большинство тестов LLM создавались и оптимизировались для английского языка, что создавало трудности при оценке моделей, работающих с другими языками.

3LM включает в себя задачи, охватывающие математические рассуждения, научные вопросы и написание кода. Тест использует набор данных, включающий более 16 тысяч вопросов, разделенных на эти три категории. Исследователи отмечают, что 3LM позволит получить более точную картину способностей арабских LLM и поможет в их дальнейшем развитии.

Набор данных 3LM находится в открытом доступе и доступен для использования исследователям и разработчикам. Это позволит создавать и совершенствовать модели, способные эффективно работать с арабским языком в научных и технических областях.