ai research updates: more, multi-task learning, bandpo & meta-d

MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer

MoRe - это feedforward 4D реконструкционная сеть, эффективно восстанавливающая динамические 3D сцены из монокулярных видео. MoRe использует стратегию attention-forcing для разделения динамического движения и статической структуры, основанную на сильном фундаменте статической реконструкции. Модель была дообучена на больших, разнообразных наборах данных, включающих динамические и статические сцены. Групповое причинно-следственное внимание MoRe улавливает временные зависимости и адаптируется к различной длине токенов в кадрах, обеспечивая согласованную во времени геометрическую реконструкцию. Эксперименты на нескольких эталонных примерах показали, что MoRe достигает высококачественной динамической реконструкции с исключительной эффективностью. View on Hugging Face Read PDF ArXiv

Asymptotic Behavior of Multi--Task Learning: Implicit Regularization and Double Descent Effects

Многозадачное обучение стремится улучшить обобщающую способность за счет использования общей информации, которой совместно пользуются несколько связанных задач. Исследование предоставляет точный асимптотический анализ популярной многозадачной формулировки, связанной с неверно заданными моделями обучения перцептрона. Было показано, что объединение нескольких задач асимптотически эквивалентно традиционной формулировке с дополнительными регуляризирующими членами, которые помогают улучшить обобщающую способность. Экспериментально установлено, что объединение нескольких задач откладывает феномен двойного спуска и может асимптотически смягчить его. View on Hugging Face Read PDF ArXiv

BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning

Band-constrained Policy Optimization (BandPO) заменяет канонический clipping Band, унифицированным теоретическим оператором, который проецирует доверительные области, определенные f-дивергенциями, в динамические интервалы clipping, учитывающие вероятность. Теоретический анализ подтверждает, что Band эффективно решает проблему исследования, представляя собой глобальное оптимальное численное решение. Эксперименты показали, что BandPO превосходит канонический clipping и Clip-Higher, устойчиво смягчая коллапс энтропии. View on Hugging Face Read PDF ArXiv

Meta-D: Metadata-Aware Architectures for Brain Tumor Analysis and Missing-Modality Segmentation

Meta-D – архитектура, которая явно использует категориальные метаданные сканера, такие как последовательность МРТ и ориентация плоскости, для управления извлечением признаков при анализе опухолей мозга. Инъекция метаданных (например, T1, T2 и аксиальной ориентации) динамически модулирует сверточные признаки, увеличивая F1-score до 2.62% по сравнению с базовыми показателями, основанными только на изображениях. В 3D сегментации опухоли мозга при отсутствии модальности, Transformer Maximizer использует кросс-внимание на основе метаданных для изоляции и маршрутизации доступных модальностей. Это направленное внимание повышает точность сегментации опухолей мозга, до 5.12% при крайней нехватке модальности и сокращает количество параметров модели на 24.1%. View on Hugging Face Read PDF ArXiv

The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization

Исследование посвящено тому, как архитектурный индуктивный уклон изменяет неявную регуляризацию, вызванную феноменом устойчивости на краю в градиентном спуске. Было доказано, что при условии, что размер поля восприятия $m$ остается небольшим по отношению к размерности окружающей среды $d$, сети обобщают сферические данные со скоростью $n^{-\frac{1}{6} +O(m/d)}$. Это подтверждает, что совместное использование весов связывает изученные фильтры с маломерным многообразием патчей, обходя высокую размерность окружающего пространства. Анализ геометрии патчей естественных изображений показывает, что стандартные сверточные конструкции индуцируют распределения патчей, которые хорошо подходят для этого механизма стабильности. View on Hugging Face Read PDF ArXiv