Nacrith: нейронный алгоритм сжатия данных без потерь

Разработана система сжатия данных Nacrith, использующая нейронную сеть на базе трансформера SmolLM2-135M. В сочетании с арифметическим кодированием и ансамблем предиктивных моделей, она обеспечивает высокую степень сжатия.

Ключевые особенности алгоритма: повышенная точность кодирования, использование N-грамм для быстрой обработки, адаптивный механизм коррекции ошибок и возможность пропускать предсказуемые фрагменты текста. Кроме того, Nacrith может работать с любыми двоичными файлами, что является первым подобным решением среди компрессоров на основе больших языковых моделей.

Тесты показали, что Nacrith превосходит традиционные алгоритмы, такие как gzip, bzip2, CMIX v21 и ts_zip, по скорости и степени сжатия. Для работы системе требуется всего 500 МБ весов и 1.2 ГБ видеопамяти.