01What it isQué es
Unintended emergent behaviors are collective patterns — feedback spirals, deadlocks, oscillations — that arise from the interaction of several agents even though no single agent was programmed to produce them.
Los comportamientos emergentes no previstos son patrones colectivos —espirales de retroalimentación, bloqueos mutuos, oscilaciones— que surgen de la interacción de varios agentes aunque ningún agente individual haya sido programado para producirlos.
02Why it mattersPor qué importa
Testing each agent in isolation cannot reveal what happens when a pricing agent and a reorder agent react to each other every few minutes. Supply networks behave as complex adaptive systems in which control has to be balanced with emergence (Choi, Dooley and Rungtusanatham, 2001 — Journal of Operations Management), and when decision rules ignore feedback delays, local reactions amplify into the oscillations known as the bullwhip effect (Sterman, 1989 — Management Science); agents simply run that loop in hours instead of weeks.
Probar cada agente por separado no puede revelar qué pasa cuando un agente de precios y uno de reorden reaccionan entre sí cada pocos minutos. Las redes de suministro se comportan como sistemas adaptativos complejos en los que el control debe balancearse con la emergencia (Choi, Dooley and Rungtusanatham, 2001 — Journal of Operations Management), y cuando las reglas de decisión ignoran los retrasos de la retroalimentación, las reacciones locales se amplifican en las oscilaciones conocidas como efecto látigo (Sterman, 1989 — Management Science); los agentes simplemente recorren ese ciclo en horas en lugar de semanas.
03How it is doneCómo se hace
1
Install circuit breakers. Set hard limits — price floor, maximum ROP change per day, maximum POs per hour — that pause an agent automatically.
2
Watch cross-agent correlations. Monitor how often agents reverse each other and how their decisions move together over time.
3
Red-team the interactions. Test cascade, deadlock and desynchronization scenarios on the whole system, not just agent by agent.
1
Instala circuit breakers. Fija límites duros —precio piso, cambio máximo del ROP por día, máximo de OC por hora— que pausen al agente automáticamente.
2
Vigila correlaciones entre agentes. Monitorea qué tan seguido un agente revierte a otro y cómo se mueven juntas sus decisiones en el tiempo.
3
Haz red-teaming de interacciones. Prueba escenarios de cascada, bloqueo mutuo y desincronización en el sistema completo, no solo agente por agente.
04The concept in depthEl concepto a fondo
Unintended emergent behaviors: the multi-agent system surprises its designers›
Unintended emergent behaviors are the collective behaviors of the multi-agent system that no individual agent was explicitly programmed to generate — and that its designers did not anticipate. Unlike individual agent failures, unintended emergent behaviors are the product of interactions between agents under specific conditions.
The 4 most frequent unintended emergent behavior types in supply chain›
(1) Resonance cascade: two or more agents mutually feed each other in a cycle that amplifies behavior — pricing agent lowers price, reorder agent detects demand increase and raises ROP, more POs generated, pricing agent detects projected excess and lowers price further, cycle amplifies to minimum floor. (2) Deadlock: two agents each wait for the other to decide first. (3) Emergent optimization of the wrong objective: the system collectively optimizes an objective no agent was programmed for. (4) Synchronization failure: multiple agents that should take synchronized decisions desynchronize.
Detecting unintended emergent behaviors›
Detection is harder than detecting individual agent failures because: (1) the emergent behavior may not be evident in each agent individual metrics, (2) it requires analysis of correlations between multiple agents decisions over time, and (3) it may only manifest under specific conditions that do not occur frequently.
Intermediate vs. Advanced›
Intermediate: reports unexpected multi-agent system behaviors; documents unusual behavior patterns.
Advanced: designs detection mechanisms for unintended emergent behaviors; implements circuit breakers; manages root cause analysis of emergent behaviors.
Advanced: designs detection mechanisms for unintended emergent behaviors; implements circuit breakers; manages root cause analysis of emergent behaviors.
Comportamientos emergentes no previstos: cuando el sistema multiagente sorprende a sus diseñadores›
Los comportamientos emergentes no previstos son los comportamientos colectivos del sistema multiagente que ningún agente individual fue programado explícitamente para generar, y que sus diseñadores no anticiparon. A diferencia de las fallas de agentes individuales, los comportamientos emergentes no previstos son producto de las interacciones entre agentes bajo condiciones específicas.
Los 4 tipos más frecuentes de comportamiento emergente no previsto en supply chain›
(1) Cascada de resonancia: dos o más agentes se retroalimentan mutuamente en un ciclo que amplifica el comportamiento: el agente de precios baja el precio, el agente de reorden detecta un aumento de demanda y sube el ROP, se generan más OC, el agente de precios detecta un exceso proyectado y baja aún más el precio, y el ciclo se amplifica hasta el piso mínimo. (2) Deadlock (bloqueo mutuo): dos agentes esperan, cada uno, a que el otro decida primero. (3) Optimización emergente del objetivo equivocado: el sistema optimiza colectivamente un objetivo para el que ningún agente fue programado. (4) Falla de sincronización: varios agentes que deberían tomar decisiones sincronizadas se desincronizan.
Detección de comportamientos emergentes no previstos›
Detectarlos es más difícil que detectar fallas de agentes individuales porque: (1) el comportamiento emergente puede no ser evidente en las métricas individuales de cada agente, (2) requiere analizar las correlaciones entre las decisiones de varios agentes a lo largo del tiempo y (3) puede manifestarse solo bajo condiciones específicas que no ocurren con frecuencia.
Intermedio vs. Avanzado›
Intermedio: reporta comportamientos inesperados del sistema multiagente; documenta patrones de comportamiento inusuales.
Avanzado: diseña mecanismos de detección de comportamientos emergentes no previstos; implementa circuit breakers (cortacircuitos); gestiona el análisis de causa raíz de los comportamientos emergentes.
Avanzado: diseña mecanismos de detección de comportamientos emergentes no previstos; implementa circuit breakers (cortacircuitos); gestiona el análisis de causa raíz de los comportamientos emergentes.
05In practiceEn la práctica
The circuit breaker is the most effective safety mechanism for unintended emergent behaviors in multi-agent systems›
A well-designed circuit breaker (minimum price, maximum ROP change in 24 hours, maximum POs per hour) can automatically stop dangerous emergent behaviors before they generate significant damage.
Monitoring correlations between agent decisions is the most effective detection tool for emergent behaviors›
A chart of the correlation between pricing agent and reorder agent decisions over time is the fastest way to detect an emerging resonance cascade.
Red-teaming of the multi-agent system must include emergent behavior scenarios — not just individual agent failures›
Resonance cascade and deadlock scenarios between agents cannot be detected with the red-teaming of an individual agent.
Document all detected unintended emergent behaviors — they are the most valuable failure modes for system design›
Each detected unintended emergent behavior is a design lesson that can prevent a more costly behavior in the future.
El circuit breaker es el mecanismo de seguridad más efectivo contra comportamientos emergentes no previstos en sistemas multiagente›
Un circuit breaker bien diseñado (precio mínimo, cambio máximo de ROP en 24 horas, máximo de OC por hora) puede detener automáticamente comportamientos emergentes peligrosos antes de que generen un daño significativo.
Monitorear las correlaciones entre las decisiones de los agentes es la herramienta de detección más efectiva de comportamientos emergentes›
Una gráfica de la correlación entre las decisiones del agente de precios y del agente de reorden a lo largo del tiempo es la forma más rápida de detectar una cascada de resonancia incipiente.
El red-teaming del sistema multiagente debe incluir escenarios de comportamiento emergente, no solo fallas de agentes individuales›
Los escenarios de cascada de resonancia y de deadlock entre agentes no pueden detectarse con el red-teaming de un agente individual.
Documenta todos los comportamientos emergentes no previstos que se detecten: son los modos de falla más valiosos para el diseño del sistema›
Cada comportamiento emergente no previsto que se detecta es una lección de diseño que puede prevenir un comportamiento más costoso en el futuro.
06Illustrative caseCaso ilustrativo
Illustrative case built from typical industry values — not data from a specific company.Caso ilustrativo construido con valores típicos de la industria — no son datos de una empresa específica.
Illustrative case: Resonance cascade detected — distribution company, pricing agent + reorder agent on a high-rotation SKU
| Event in the multi-agent system | Timestamp | Consequence and action |
|---|---|---|
| Pricing agent lowers SKU A price by 15% to defend volume vs. competition · Reorder agent detects demand increase and raises ROP by 22% | T=0 · T+15min | Reorder agent generates an emergency PO of 8,000 additional units without coordination with the pricing agent |
| In-transit inventory increases · Pricing agent detects projected excess inventory and lowers price by an additional 22% | T+18h · T+20h | SKU A price falls 34% in 20 hours · Without human intervention at any point · The resonance cascade continues |
| Pricing agent detects that the price is near the minimum floor · Circuit breaker activates · Pricing agent automatically pauses | T+22h | The resonance cascade is interrupted · The supply chain team reviews the situation |
Result: The minimum price circuit breaker was the mechanism that stopped the resonance cascade before it generated further damage. Design lesson: the minimum price circuit breaker + the maximum ROP change limit in 24 hours are the controls that prevent resonance cascades in the system.
Illustrative case built from typical industry values — not data from a specific company.Caso ilustrativo construido con valores típicos de la industria — no son datos de una empresa específica.
Caso ilustrativo: cascada de resonancia detectada — empresa distribuidora, agente de precios + agente de reorden en un SKU de alta rotación
| Evento en el sistema multiagente | Marca de tiempo | Consecuencia y acción |
|---|---|---|
| El agente de precios baja 15% el precio del SKU A para defender el volumen frente a la competencia · El agente de reorden detecta un aumento de demanda y sube 22% el ROP | T=0 · T+15 min | El agente de reorden genera una OC de emergencia de 8,000 unidades adicionales sin coordinarse con el agente de precios |
| Aumenta el inventario en tránsito · El agente de precios detecta un exceso proyectado de inventario y baja el precio un 22% adicional | T+18 h · T+20 h | El precio del SKU A cae 34% en 20 horas · Sin intervención humana en ningún momento · La cascada de resonancia continúa |
| El agente de precios detecta que el precio está cerca del piso mínimo · Se activa el circuit breaker · El agente de precios se pausa automáticamente | T+22 h | La cascada de resonancia se interrumpe · El equipo de supply chain revisa la situación |
Resultado: El circuit breaker de precio mínimo fue el mecanismo que detuvo la cascada de resonancia antes de que generara más daño. Lección de diseño: el circuit breaker de precio mínimo + el límite de cambio máximo del ROP en 24 horas son los controles que previenen las cascadas de resonancia en el sistema.
07How it is measuredCómo se mide
Agent Decision Oscillation Rate %›
Agent Decision Oscillation Rate %
(Agent decisions that contradict a previous agent decision on the same object in <24 hours / Total agent decisions) × 100
Benchmark: <2% oscillation rate in well-designed agents · >5% may indicate the beginning of a resonance cascade or partial deadlock
⚠️ A pricing agent that changes the price of the same SKU 4 times in 24 hours has an oscillation rate that is the earliest signal of an emerging resonance cascade.
Emergent Behavior Detection Time›
Emergent Behavior Detection Time
Time from the start of an unintended emergent behavior until the system detects it and activates the circuit breaker
Benchmark: <4 hours for resonance cascade detection with real-time oscillation rate monitoring · <24 hours for other emergent behaviors
🔑 The detection speed of unintended emergent behaviors determines the damage they can generate before being contained.
Agent Decision Oscillation Rate % (tasa de oscilación de decisiones)›
Agent Decision Oscillation Rate % (tasa de oscilación de decisiones)
(Decisiones del agente que contradicen una decisión previa del agente sobre el mismo objeto en <24 horas / Total de decisiones del agente) × 100
Benchmark: <2% de tasa de oscilación en agentes bien diseñados · >5% puede indicar el inicio de una cascada de resonancia o de un deadlock parcial
⚠️ Un agente de precios que cambia el precio del mismo SKU 4 veces en 24 horas tiene una tasa de oscilación que es la señal más temprana de una cascada de resonancia incipiente.
Emergent Behavior Detection Time (tiempo de detección de comportamientos emergentes)›
Emergent Behavior Detection Time (tiempo de detección de comportamientos emergentes)
Tiempo desde el inicio de un comportamiento emergente no previsto hasta que el sistema lo detecta y activa el circuit breaker
Benchmark: <4 horas para detectar cascadas de resonancia con monitoreo en tiempo real de la tasa de oscilación · <24 horas para otros comportamientos emergentes
🔑 La velocidad de detección de los comportamientos emergentes no previstos determina el daño que pueden generar antes de ser contenidos.
08What you would useQué se usa
📌 Emergent Behavior Detection
LangSmith / Langfuse›
Module: Multi-Agent Behavior Correlation Analysis + Anomaly Detection
LangSmith and Langfuse for analyzing correlations between agent decisions and detecting emergent behavior patterns.
LangSmith and Langfuse for analyzing correlations between agent decisions and detecting emergent behavior patterns.
Python — pandas + plotly›
Module: Agent Decision Correlation Dashboard
Python correlation dashboard for early detection of resonance cascades and other emergent behaviors.
Python correlation dashboard for early detection of resonance cascades and other emergent behaviors.
📌 Detección de comportamientos emergentes
LangSmith / Langfuse›
Módulo: Análisis de correlación del comportamiento multiagente + detección de anomalías
LangSmith y Langfuse para analizar las correlaciones entre las decisiones de los agentes y detectar patrones de comportamiento emergente.
LangSmith y Langfuse para analizar las correlaciones entre las decisiones de los agentes y detectar patrones de comportamiento emergente.
Python — pandas + plotly›
Módulo: Dashboard de correlación de decisiones de agentes
Dashboard de correlación en Python para la detección temprana de cascadas de resonancia y otros comportamientos emergentes.
Dashboard de correlación en Python para la detección temprana de cascadas de resonancia y otros comportamientos emergentes.
The bottom lineEn corto
Two well-behaved agents can still misbehave together, so put hard limits on what the pair can do.
Dos agentes que se portan bien pueden portarse mal juntos: pon límites duros a lo que la pareja puede hacer.
← PreviousAnteriorAdaptive supply chains: agents that learn from disruptions & self-healCadenas de suministro adaptativas: agentes que aprenden de disrupciones y se auto-reparanNextSiguiente →The future of autonomous supply chains: from agentic AI to AGI-ready operationsEl futuro de las cadenas de suministro autónomas: de la IA agéntica a la SC lista para AGI
All D13 componentsTodos los componentes de D13D13 artifactsArtifacts de D13SCRA