Ансамблирование языковых моделей и новые подходы к har

Ансамблирование языковых моделей с помощью последовательного Монте-Карло

5 марта 2026 года исследователи Jacob Hoover Vigly, Timothy J. O'Donnell, Ryan Cotterell, Tim Vieira, Robin Shing Moon Chan и другие представили работу, посвященную ансамблированию языковых моделей. Они отмечают, что производительность языковых моделей сильно зависит от выбора моделей и стратегий запросов. Авторы предлагают унифицированную структуру для объединения K языковых моделей в f-ансамбли, используя алгоритм байт-уровневого последовательного Монте-Карло (SMC), который работает в общем символьном пространстве и обеспечивает согласованную выборку даже при несовпадающих словарях моделей. Оценка f-ансамблей показала преимущества альтернативных стратегий агрегации над традиционным усреднением вероятностей и улучшение производительности ансамбля за счет более точных приближений апостериорных распределений. View on Hugging Face Read PDF ArXiv

Встраивание межсубъектной изменчивости в состязательное обучение для распознавания человеческой деятельности на основе инерционных датчиков

5 марта 2026 года Francisco M. Calatrava-Nicolás, Shoko Miyauchi, Vitor Fortes Rey, Paul Lukowicz, Todor Stoyanov и другие представили подход к распознаванию человеческой деятельности (HAR) с использованием данных с носимых инерционных датчиков. Проблема обобщения модели на новых пользователей из-за межсубъектной изменчивости решается посредством нового глубокого состязательного фреймворка, который интегрирует концепцию межсубъектной изменчивости в состязательную задачу, способствуя формированию инвариантных к субъектам признаков и повышая точность классификации. Авторы добились лучших результатов, чем предыдущие методы, на трех известных наборах данных HAR, используя кросс-валидацию "один пользователь из" (LOSO). View on Hugging Face Read PDF ArXiv Code

Прогрессивный остаточный разогрев для предварительного обучения языковых моделей

Yang Wang, Shizhe Diao, Can Yang, Tianhao Chen, Xin Xu и другие опубликовали 5 марта 2026 года работу о прогрессивном остаточном разогреве (ProRes) для предварительного обучения языковых моделей. ProRes реализует философию "сначала учится ранний слой", умножая остаток каждого слоя на скаляр, который постепенно увеличивается от 0 до 1, причем более глубокие слои получают больше шагов разогрева. Это позволяет более глубоким слоям дождаться стабилизации ранних слоев перед внесением вклада в обучение. Эксперименты показали, что ProRes не только стабилизирует предварительное обучение, но и приводит к более быстрой сходимости, более сильной обобщающей способности и лучшей производительности на downstream-задачах. View on Hugging Face Read PDF ArXiv Code

Многоязычный корпус текстов, аннотированный человеком, оригинальных и упрощенных для поддержки доступа к демократическим процессам

5 марта 2026 года Horacio Saggion, Almudena Rascón Alcaina, Nouran Khallaf, Stefan Bott, Verena Riegler представили многоязычный корпус оригинальных текстов и их упрощенных версий на испанском, каталанском и итальянском языках, разработанный для оценки влияния языка Easy-to-Read (E2R) на демократическое участие в проекте iDEM. Корпус включает различные типы текстов из соответствующих областей и доступен для свободного использования. Он представляет собой первый аннотированный корпус такого рода для каталанского языка и важный вклад для испанского и итальянского языков, предлагая ресурсы с аннотациями, сделанными человеком. View on Hugging Face Read PDF ArXiv