Arquitectura de sistemas IA — Maestría7 / 9
Latencia y rendimiento a escala
La inferencia es lenta e impredecible. El streaming, el paralelismo y el límite asincrónico son lo que mantiene un producto de IA rápido bajo carga real.
La inferencia es lenta (segundos, no milisegundos) e impredecible (una solicitud puede ramificarse en muchas llamadas). La latencia y el rendimiento son preocupaciones arquitectónicas — no algo que ajustes al final.
Haz que la lentitud se sienta rápida
- Transmite la salida. Una respuesta transmitida que tarda 8 segundos se siente más rápida que una bloqueante que tarda 4. La latencia percibida es la que los usuarios juzgan.
- Paraleliza llamadas independientes. Si tres recuperaciones o tres subtareas no dependen una de otra, ejecutalas concurrentemente — el tiempo total cae al más lento, no a la suma.
- Muestra progreso. Para pipelines de múltiples pasos, muestra qué paso se está ejecutando. El silencio se lee como "roto".
Desplaza trabajo lento fuera de la ruta de solicitud
No todo pertenece a la solicitud. Los trabajos largos (procesamiento por lotes, generaciones grandes) van asincrónico: encola, procesa en segundo plano, notifica cuando esté listo. El usuario obtiene una confirmación instantánea, no una solicitud giratoria de 30 segundos que agota el tiempo.
Sobrevive a ráfagas y límites de velocidad
Rápido y económico. Siguiente: mantenerlo funcionando — confiabilidad, reintentos y barreras de protección.
Serie — Arquitectura de sistemas IA — Maestría
- Parte 01Arquitectura de productos de IA — Primeros principiosLos sistemas de IA fallan diferente del software normal: son no determinísticos, tienen costo por llamada y son difíciles de probar. La arquitectura debe considerar los tres.
- Parte 02Single Agent vs. Multi-Agent — Choosing a TopologyMulti-agent is fashionable and usually premature. Here is how to decide honestly — and why most products should start with one well-equipped agent.
- Parte 03Patrones de Orquestación — Pipelines, Routers, SwarmsUna vez que tienes múltiples pasos o agentes, cómo están conectados determina el costo, la latencia y la confiabilidad. Cuatro patrones cubren casi todo.
- Parte 04Arquitectura de contexto y memoriaLa ventana de contexto es tu recurso más caro y más disputado. Lo que incluyas en ella —y lo que recuerdes entre llamadas— es una decisión arquitectónica.
- Parte 05Evaluation Pipelines as InfrastructureIn AI systems, evaluation is not QA you do at the end — it's infrastructure you build first. Without it, every change is a prayer.
- Parte 06Ingeniería de costos — Presupuestos de tokens que se sostienenUna característica de IA que encanta a 100 usuarios puede arruinarte a 100,000. El costo es una restricción arquitectónica, diseñada desde el inicio — no descubierta en la factura.
- Parte 07Latencia y rendimiento a escala — estás aquíLa inferencia es lenta e impredecible. El streaming, el paralelismo y el límite asincrónico son lo que mantiene un producto de IA rápido bajo carga real.
- Parte 08Confiabilidad — Reintentos, Alternativas, ProteccionesLos modelos devuelven salidas malformadas, los proveedores se caen y la calidad se degrada. Un sistema de IA confiable anticipa estos tres escenarios y sigue funcionando de todas formas.
- Parte 09La arquitectura de referencia en producciónTopología, orquestación, memoria, evaluación, costo, latencia y confiabilidad — compuestos en un plano para un sistema de IA que sobrevive usuarios reales.