PesquisaReddit r/MachineLearning·13h atrás
What if your HNSW index stored 3-bit embeddings instead of float32? [R]
O texto explora uma abordagem experimental para indexação de vetores HNSW que utiliza embeddings quantizados de 3 bits, em vez de float32, para reduzir o uso de memória. A técnica, baseada em PolarQuant, permite cálculo de distância eficiente via tabelas pré-computadas, resultando em economia de memória e bom recall, apesar de um processo de construção mais lento e desafios com o ruído de quantização.
HNSWMemory OptimizationQuantizationVector Indexing