Dominando a engenharia RAG1 / 10
Por que RAG Ingênuo Falha em Produção
A demo de busca vetorial de 50 linhas que impressiona no notebook desmorona no momento em que usuários reais fazem perguntas reais. Aqui está o porquê — e o mapa de saída.
Retrieval-augmented generation parece trivial: incorpore seus docs, busque por similaridade, coloque os top chunks no prompt. A demo impressiona. Depois usuários reais chegam e tudo desmorona silenciosamente.
Os quatro modos de falha
- Recuperação falha. Similaridade de cosseno retorna chunks plausíveis mas errados. A resposta é fluente e confiante na incorreção.
- Sem avaliação. Você lança, você espera. Sem um conjunto de eval medido, toda mudança é um palpite e regressões são lançadas silenciosamente.
- Alucinação. Quando a recuperação não retorna nada útil, o modelo preenche a lacuna — com invenção.
- Cegueira de custo. Embeddings, contextos grandes e re-ranking somam. Uma demo custa centavos; um produto custa milhares, rapidamente.
O que "produção" realmente significa
Um sistema RAG em produção tem: uma camada de recuperação que você pode medir, uma etapa de geração que cita suas fontes, um pipeline de eval que detecta regressões antes dos usuários, e um modelo de custo que você entende por query.
O mapa para esta série
Construímos em ordem: chunking (a decisão que define seu teto), embeddings e vector stores, retrieval híbrido, re-ranking, geração fundamentada, avaliação, guardrails, disciplina de custo, e finalmente a arquitetura de referência que une tudo.
Ao final você terá um sistema que pode mudar com confiança — porque consegue medi-lo.
Série — Dominando a engenharia RAG
- Parte 01Por que RAG Ingênuo Falha em Produção — você está aquiA demo de busca vetorial de 50 linhas que impressiona no notebook desmorona no momento em que usuários reais fazem perguntas reais. Aqui está o porquê — e o mapa de saída.
- Parte 02Chunking — The Decision That Sets Your CeilingYou can't retrieve what you chunked badly. Chunking is the most under-rated lever in RAG — and the cheapest to get right.
- Parte 03Embeddings & Vector Stores 101Um embedding transforma significado em geometria. Uma vector store torna essa geometria pesquisável em milissegundos. Acerte ambos e a recuperação fica fácil.
- Parte 04Hybrid Retrieval — Keyword + VectorVector search compreende significado mas tropeça em termos exatos, IDs e palavras raras. Keyword search acerta nesses e erra em paráfrase. Use ambos.
- Parte 05Re-Ranking — The Cheap Quality WinRetrieval gets you 30 plausible chunks. A re-ranker reads them against the actual question and floats the truly relevant few to the top.
- Parte 06Prompting the Generator — Grounding & CitationsGreat retrieval is wasted if the model ignores it or can't point to its sources. Grounding is a prompt-design discipline, not an afterthought.
- Parte 07Avaliação — Você Não Pode Melhorar o Que Não MedeSem um conjunto de avaliação, toda mudança em RAG é uma intuição. Com um, você afina chunking, retrieval e prompts com um número que diz se ajudou ou prejudicou.
- Parte 08Tratando Alucinações e GuardrailsQuando a recuperação vem vazia, um modelo prestativo inventa. Guardrails transformam 'confiantemente errado' em 'honestamente incerto' — a diferença que os usuários realmente confiam.
- Parte 09Disciplina de Custo e LatênciaUma consulta RAG toca embeddings, um vector DB, um re-ranker e um LLM. Cada um adiciona milissegundos e centavos. Em escala, disciplina aqui é a diferença entre uma margem e um incêndio.
- Parte 10The Production RAG Reference ArchitectureEvery piece, assembled: ingestion, hybrid retrieval, re-ranking, grounded generation, guardrails, eval and caching — the blueprint you can ship.