LEMUR: AI-фреймворк для поиска документов в 10 раз быстрее

Ученые представили LEMUR – новый фреймворк для ускорения поиска похожих документов, использующих многовекторные представления данных. Такие представления, как ColBERT, обеспечивают более точные результаты по сравнению с традиционными методами, но требуют больших вычислительных затрат.

Основная идея LEMUR заключается в преобразовании многовекторного поиска в задачу обучения с учителем, решаемую с помощью нейронной сети с одним скрытым слоем. Это позволяет свести сложный поиск к более простому поиску по латентному пространству, используя существующие алгоритмы поиска ближайших соседей.

В ходе экспериментов на различных типах данных, включая текстовые и визуальные документы, LEMUR показал себя в 10 раз быстрее предыдущих методов поиска по многовекторным представлениям. Алгоритм может быть полезен в задачах, требующих быстрого и точного поиска информации в больших объемах данных.