Эластичные векторные базы данных для RAG: симулятор хэширования и шардирования

Разработан симулятор эластичной векторной базы данных, имитирующий распределенное хранение эмбеддингов в современных RAG-системах. В основе лежит консистентное хэширование с виртуальными узлами для обеспечения сбалансированного распределения и минимизации перемещений данных при масштабировании.

Представлена визуализация хэш-кольца в реальном времени с возможностью добавления и удаления узлов для наблюдения за минимизацией перемещений эмбеддингов. Реализованы алгоритмы для управления шардами данных и отслеживания их распределения по узлам.

Симулятор позволяет оценить влияние изменений в топологии на стабильность системы и подтверждает принцип минимизации перемещения данных при масштабировании. Это дает наглядное представление о работе эластичных распределенных баз данных в RAG-системах.