safetensors переходит под управление pyTorch foundation

Обновления для VeraCrypt, популярного и давно существующего инструмента шифрования, поставлены под вопрос из-за неожиданного решения Microsoft.

OpenAI представила "План обеспечения безопасности детей" – дорожную карту для ответственной разработки ИИ, с учетом мер безопасности, дизайна, соответствующего возрасту, и сотрудничества для защиты и расширения возможностей молодых людей в сети.

Safetensors присоединяется к PyTorch Foundation

Safetensors присоединился к PyTorch Foundation в качестве проекта, размещенного под управлением Linux Foundation, наряду с DeepSpeed, Helion, Ray, vLLM и самим PyTorch. Проект Safetensors начался как проект Hugging Face, возникший из необходимости способа хранения и обмена весами моделей, которые не могли выполнять произвольный код. Формат, который они создали, намеренно прост: заголовок JSON с ограничением в 100 МБ, описывающий метаданные тензора, за которым следуют необработанные данные тензора.

Safetensors стал форматом по умолчанию для распространения моделей на Hugging Face Hub и других платформах, его используют десятки тысяч моделей во всех модальностях машинного обучения. Переход к PyTorch Foundation призван обеспечить участие большего числа компаний и участников в управлении проектом. Торговая марка, репозиторий и управление проектом теперь находятся в ведении Linux Foundation, а не одной компании.

Для большинства пользователей ничего не изменится, формат, API и интеграция с Hub останутся прежними. Для участников путь к становлению сопровождающим теперь официально задокументирован и открыт для всех желающих из сообщества. В будущем Safetensors может быть использован внутри PyTorch core в качестве системы сериализации для моделей torch. Планируется поддержка загрузки и сохранения с учетом устройства, а также API для Tensor Parallel и Pipeline Parallel загрузки. Также планируется формализация поддержки FP8 и других форматов квантования.

Участвовать можно через GitHub: github.com/huggingface/safetensors, документацию: huggingface.co/docs/safetensors и PyTorch Foundation: pytorch.org/foundation.