Pourquoi transformer les données en vecteurs dans un système RAG ?

Dans une architecture RAG (Retrieval-Augmented Generation), les données sont généralement stockées dans une base vectorielle plutôt que dans une base de données traditionnelle. 1. Une recherche basée sur le sens Une base de données classique recherche principalement des correspondances exactes de mots-clés. Ainsi, une requête contenant le mot « véhicule » pourrait ne pas retrouver un document contenant uniquement le mot « voiture ». À l'inverse, une base vectorielle représente les textes sous forme de vecteurs numériques. Les contenus ayant une signification proche se retrouvent alors proches dans l'espace vectoriel. Cette proximité est généralement mesurée à l'aide de la similarité cosinus. 2. Des recherches plus rapides à grande échelle Les bases vectorielles utilisent des algorithmes d'indexation spécialisés pour retrouver rapidement les vecteurs les plus proches, même parmi plusieurs millions de documents. Cette capacité est essentielle dans un système RAG où les informations pertinentes doivent être récupérées en temps réel. Le pipeline de transformation Étape 1 : Chunking Les documents sont découpés en morceaux appelés chunks. Ce découpage peut être fixe (fixed-size), basé sur la structure du texte (semantic chunking) ou avec chevauchement (sliding window). Étape 2 : Embedding Chaque chunk est converti en vecteur numérique par un modèle d'embedding. Ce vecteur capture le sens du contenu et permet de le comparer à d'autres textes. Étape 3 : Stockage vectoriel Les vecteurs sont stockés dans une base vectorielle telle que Pgvector, Pinecone, Weaviate, Milvus ou Qdrant. Lorsqu'un utilisateur effectue une requête, celle-ci est également transformée en vecteur. Le système recherche alors les chunks les plus proches sémantiquement et les transmet au modèle de génération afin de produire une réponse contextualisée.