Maîtriser l'ingénierie RAG9 / 10
Discipline en matière de coût et de latence
Une requête RAG touche aux embeddings, une base de données vectorielle, un re-ranker et un LLM. Chacun ajoute des millisecondes et des centimes. À grande échelle, la discipline ici fait la différence entre une marge bénéficiaire et un désastre.
Chaque requête RAG est une petite chaîne d'approvisionnement : intégrer la question, chercher, re-classer, générer. Multipliez par le trafic et les choix insouciants deviennent coûteux. Le coût et la latence sont une discipline d'ingénierie, pas une réflexion a posteriori.
Sachez où cela va
- La génération domine le coût — elle s'adapte à la taille du contexte. Fewer, better chunks (re-ranking) est une victoire en termes de coût, pas seulement de qualité.
- Le re-ranking s'adapte à la largeur de votre récupération. Dimensionnez correctement le filet.
- Les embeddings sont bon marché par requête mais s'accumulent lors des re-embeddings et de l'ingestion.
Mettez en cache de manière agressive
- Cache d'embeddings — les requêtes identiques ne doivent pas être re-intégrées.
- Cache de récupération — les questions populaires accèdent aux mêmes chunks ; mettez en cache le résultat de la récupération.
- Cache de réponses — pour les questions stables et courantes, mettez en cache la réponse finale avec un TTL raisonnable.
Un cache hit transforme un pipeline multi-étapes en une recherche.
Dimensionnez correctement chaque étape
Utilisez un petit modèle rapide pour les étapes bon marché (réecriture de requête, vérification de la fidélité) et réservez le modèle puissant pour la réponse finale. Chaque étape n'a pas besoin de votre meilleur modèle.
Récupération nette, génération fondée, garde-fous et un modèle de coût. Le final les assemble en une architecture de référence.
Série — Maîtriser l'ingénierie RAG
- Partie 01Pourquoi la RAG naïve échoue en productionLa démo de recherche vectorielle en 50 lignes qui impressionne dans un notebook s'effondre dès que de vrais utilisateurs posent de vraies questions. Voici pourquoi — et la carte pour y remédier.
- Partie 02Chunking — The Decision That Sets Your CeilingYou can't retrieve what you chunked badly. Chunking is the most under-rated lever in RAG — and the cheapest to get right.
- Partie 03Embeddings & Vector Stores 101Un embedding transforme le sens en géométrie. Un vector store rend cette géométrie explorable en millisecondes. Maîtriser les deux, et la retrieval devient facile.
- Partie 04Hybrid Retrieval — Keyword + VectorLa recherche vectorielle comprend le sens mais échoue sur les termes exacts, les identifiants et les mots rares. La recherche par mots-clés maîtrise ceux-ci et manque les paraphrases. Utilisez les deux.
- Partie 05Re-Ranking — The Cheap Quality WinLa récupération vous donne 30 chunks plausibles. Un re-ranker les lit par rapport à la question réelle et remonte les véritablement pertinents en haut.
- Partie 06Prompting the Generator — Grounding & CitationsGreat retrieval is wasted if the model ignores it or can't point to its sources. Grounding is a prompt-design discipline, not an afterthought.
- Partie 07Évaluation — On ne peut pas améliorer ce qu'on ne mesure pasSans un ensemble d'évaluation, chaque changement RAG est une question de ressenti. Avec un, vous affinez le chunking, la récupération et les prompts avec un chiffre qui vous dit si vous avez aidé ou nui.
- Partie 08Gestion des hallucinations et garde-fousQuand la récupération ne trouve rien, un modèle utile invente. Les garde-fous transforment « confidemment faux » en « honnêtement incertain » — la différence que les utilisateurs font confiance.
- Partie 09Discipline en matière de coût et de latence — vous êtes iciUne requête RAG touche aux embeddings, une base de données vectorielle, un re-ranker et un LLM. Chacun ajoute des millisecondes et des centimes. À grande échelle, la discipline ici fait la différence entre une marge bénéficiaire et un désastre.
- Partie 10The Production RAG Reference ArchitectureChaque élément, assemblé : ingestion, récupération hybride, re-ranking, génération fondée, garde-fous, évaluation et mise en cache — le blueprint que vous pouvez déployer.