Новости о больших языковых моделях

Cohere выпустила Tiny Aya – семейство небольших языковых моделей (SLM) с 3,35 миллиардами параметров. Модель демонстрирует высокую эффективность в переводе и генерации текста на 70 различных языках.

В линейку входят …

Современные большие языковые модели (LLM) всё чаще разрабатываются с возможностью запоминать детали из прошлых бесед и учитывать профили пользователей, чтобы персонализировать ответы. Однако, как выяснили исследователи из MIT и Университета …

Компания Anthropic представила Claude 4.6 Sonnet – новую модель, разработанную для решения сложных задач в области программирования и обработки данных. Ключевой особенностью является механизм "Адаптивного мышления", позволяющий модели анализировать логику …

Исследователи предложили новую интерпретацию, почему большие языковые модели (LLM), обучаемые через подкрепление с проверяемыми наградами (RLVR), начинают демонстрировать сложные рассуждения. По их гипотезе, это не появление совсем новых способностей, а …

В обучающем туториале показано, как выполнить прямую оптимизацию предпочтений (DPO) без использования reward-модели — заменяющего подхода на RLHF. Процесс объединяет DPOTrainer из библиотеки TRL, QLoRA и PEFT, чтобы обучение помещалось …

Исследователи NVIDIA представили KVTC — метод трансформ-кодирования для эффективного сжатия ключевых и значимых кэшей (KV-кэшей), которые часто занимают гигабайты памяти на GPU. Кэш хранит промежуточные данные при обработке длинных контекстов, …

Как обучать большие языковые модели локально без сбора данных в центре

В руководстве показано, как провести федеративное дообучение большой языковой модели с помощью LoRA, не объединяя приватные тексты в одном …

Крупные языковые модели всё чаще используют матричные оптимизаторы — такие как Shampoo, Muon и SOAP — благодаря их высокой скорости сходимости. Но их требование к целостным обновлениям плохо сочетается с …

Компании, выбирая LLM для обработки отчётов или обращений клиентов, зачастую ориентируются на рейтинги специализированных платформ. Однако учёные из MIT показали: такие рейтинги часто зависят от нескольких голосов — иногда даже …