sakana ai представляет doc-to-lora и text-to-lora

Sakana AI представила Doc-to-LoRA и Text-to-LoRA – гиперсети, которые мгновенно усваивают длинный контекст и адаптируют большие языковые модели (LLM) посредством обучения без примеров на естественном языке.

Doc-to-LoRA позволяет LLM понимать и применять знания из целых документов, а Text-to-LoRA – из произвольного текста. Обе технологии используют LoRA (Low-Rank Adaptation) для эффективной адаптации LLM, не требуя полной перенастройки.

Эти гиперсети позволяют LLM решать сложные задачи, требующие понимания длинных контекстов, такие как ответы на вопросы по юридическим документам или анализ научных статей. Sakana AI утверждает, что Doc-to-LoRA и Text-to-LoRA значительно повышают точность и релевантность ответов LLM по сравнению с традиционными методами.