Обучение мРНК языковой модели обошлось в $165

Обучение языковых моделей на основе мРНК для 25 видов обошлось в 165 долларов.

В новой работе исследователи обучили языковую модель мРНК для 25 видов, потратив всего 165 долларов на вычислительные ресурсы. Это было сделано с использованием новых методов обучения и оптимизации, которые позволили значительно снизить вычислительные затраты. Исследователи использовали набор данных, содержащий последовательности мРНК из геномов 25 различных видов, включая бактерии, дрожжи и млекопитающие.

Методология и результаты

Обучение проводилось на графических процессорах NVIDIA A100. Модель, названная CodonRoBERTa-large-v2, показала сложность 4.10 и корреляцию Спирмена CAI 0.40, значительно превзойдя ModernBERT. Авторы утверждают, что их работа демонстрирует возможность создания мощных языковых моделей мРНК с минимальными затратами.