mymnist: бенчмарк petnn, kan и классических моделей для распознавания цифр

myMNIST: Бенчмарк PETNN, KAN и классических моделей глубокого обучения для распознавания рукописных цифр на бирманском языке

myMNIST — это первый систематический бенчмарк для myMNIST (ранее BHDD), общедоступного набора данных рукописных цифр на бирманском языке, который важен для исследований в области NLP/AI в Мьянме. Авторы оценивали одиннадцать архитектур, включая классические модели глубокого обучения (многослойный персептрон, сверточная нейронная сеть, LSTM, GRU, Transformer), недавние альтернативы (FastKAN, EfficientKAN), модель на основе энергии (JEM) и варианты PETNN, вдохновленные физикой (Sigmoid, GELU, SiLU).

Используя точность, полноту, F1-оценку и точность в качестве метрик оценки, результаты показали, что CNN остается сильным базовым решением, достигая наилучших общих показателей (F1 = 0.9959, точность = 0.9970). Модель PETNN (GELU) тесно следует за ней (F1 = 0.9955, точность = 0.9966), превосходя LSTM, GRU, Transformer и варианты KAN. Модель JEM, представляющая моделирование на основе энергии, показывает конкурентоспособные результаты (F1 = 0.9944, точность = 0.9958). Модели на основе KAN (FastKAN, EfficientKAN) отстают от лидеров, но предоставляют значимую альтернативную базовую линию (точность ~0.992). Эти результаты (i) устанавливают воспроизводимые базовые линии для myMNIST для различных парадигм моделирования, (ii) подчеркивают высокую производительность PETNN по сравнению с классическими и моделями на основе Transformer, и (iii) количественно определяют разрыв между PETNN, вдохновленными энергией, и истинной моделью на основе энергии (JEM). Бенчмарк был выпущен для содействия будущим исследованиям по распознаванию цифр в Мьянме и для поощрения более широкой оценки новых архитектур для региональных скриптов. View on Hugging Face Read PDF

Разрушение сложных бенчмарков изоморфизма с помощью DRESS

В этой работе изучается одноуровневый вариант удаления вершин $Δ$-DRESS, который является частью более широкого фреймворка DRESS. Авторы эмпирически показали, что $Δ$-DRESS достигает уникальных отпечатков для каждого протестированного семейства SRG, охватывающего все 51 718 неизоморфных сильно регулярных графов (SRG) из 16 семейств, включая полное собрание Спенса (12 семейств, 43 703 графа до 64 вершин) и четыре дополнительных семейства SRG с до 4466 графов на семейство.

В сочетании с 18 дополнительными сложными семействами графов (102 графа, включая Miyazaki, Chang, Paley, Latin square и Steiner), $Δ$-DRESS достигает 100% разделения внутри семейств по 34 эталонным семействам, охватывающим 51 816 различных экземпляров графов, неявно разрешая более 576 миллионов неизоморфных пар внутри семейств. Кроме того, классическая пара Rook $L_2(4)$ vs. Shrikhande, SRG(16,6,2,2), ранее считалась неразличимой алгоритмом 3-WL, но $Δ$-DRESS ее разделяет, доказывая, что $Δ$-DRESS выходит за теоретические границы 3-WL. Метод работает за полиномиальное время $\mathcal{O}(n \cdot I \cdot m \cdot d_{\max})$ на граф; реализация потокового отпечатка использует $\mathcal{O}(m + B + n)$ памяти, где $B$ — количество ячеек гистограммы, в то время как эксперименты, представленные здесь, дополнительно сохраняют полную матрицу множеств подграфов для последующего анализа. View on Hugging Face Read PDF

Атака путем удаления: атаки на основе удаления, вызванные воздействием на графовые нейронные сети

Графовые нейронные сети (GNN) широко используются для обучения на графообразных данных в таких областях, как социальные сети, системы рекомендаций и финансовые платформы. Для соответствия нормативным требованиям, таким как GDPR, CCPA и PIPEDA, примерное удаление графа, которое направлено на удаление влияния конкретных точек данных из обученных моделей без полной переподготовки, становится все более важным компонентом надежного обучения графам.

Однако примерное удаление часто приводит к незначительной деградации производительности, которая может иметь негативные и непредвиденные последствия. Авторы показали, что такую деградацию можно усилить в виде состязательных атак. Вводится понятие атак коррупции при удалении, когда злоумышленник вставляет специально выбранные узлы в обучающий граф и затем запрашивает их удаление. Поскольку запросы на удаление юридически обязательны и не могут быть отклонены, эта поверхность атаки одновременно неизбежна и скрытна: модель работает нормально во время обучения, но точность падает только после применения удаления.

Технически эта атака сформулирована как двухуровневая задача оптимизации. Для преодоления проблем неполного удаления и нехватки меток, процесс удаления аппроксимируется с помощью градиентных обновлений и используется суррогатная модель для генерации псевдометок для оптимизации. Обширные эксперименты с эталонными значениями и алгоритмами удаления показали, что небольшие, тщательно разработанные запросы на удаление могут вызвать значительное снижение точности, вызывая серьезную озабоченность по поводу надежности удаления GNN в реальных нормативных требованиях. View on Hugging Face Read PDF

SpecForge: гибкий и эффективный фреймворк с открытым исходным кодом для спекулятивного декодирования

SpecForge — это фреймворк с открытым исходным кодом и производственной направленности для обучения моделей спекулятивного декодирования с полной поддержкой EAGLE-3. SpecForge включает в себя разделение цели и черновика, гибридный параллелизм, оптимизированные ядра обучения и интеграцию с производственными движками вывода, что позволяет ускорить обучение EAGLE-3 в 9,9 раза для Qwen3-235B-A22B.

Кроме того, авторы выпустили SpecBundle — набор черновиков EAGLE-3 производственного класса, обученных с помощью SpecForge для основных LLMS с открытым исходным кодом. Систематическое изучение рецептов обучения спекулятивного декодирования, SpecBundle решает проблему нехватки высококачественных черновиков в сообществе, а черновики достигают ускорения вывода на SGLang до 4,48x, что делает SpecForge практической основой для развертывания спекулятивного декодирования в реальном мире. View on Hugging Face Read PDF

Трансформеры обучаются надежной регрессии в контексте под распределительной неопределенностью

Недавние исследования показали, что Трансформеры могут выполнять регрессию в контексте для линейной регрессии при ограничительных предположениях, включая i.i.d. данные, гауссовский шум и гауссовские регрессионные коэффициенты. Однако реальные данные часто нарушают эти предположения: распределения входных данных, шума и коэффициентов обычно неизвестны, не являются гауссовскими и могут демонстрировать зависимость внутри подсказки. Это поднимает фундаментальный вопрос: могут ли Трансформеры эффективно учиться в контексте при реалистичной распределительной неопределенности?

В исследовании изучается регрессия в контексте для зашумленной линейной регрессии в широком диапазоне распределительных сдвигов, включая негауссовские коэффициенты, тяжелые хвосты шума и не-i.i.d. подсказки. Трансформеры сравнивались с классическими базовыми решениями, которые являются оптимальными или субоптимальными при соответствующих критериях максимального правдоподобия. В всех случаях Трансформеры постоянно соответствовали или превосходили эти базовые решения, демонстрируя надежную адаптацию в контексте, выходящую за рамки классических оценщиков. View on Hugging Face Read PDF