Algorithmic & AI systemic risk · D17 Risk, Resilience & Geopolitics · SCRA

01What it isQué es

Algorithmic and AI systemic risk covers failures that come from automated decisions — forecasting, ordering, pricing, routing — especially when many systems react to the same signals at once or act faster than people can check them.

El riesgo sistémico algorítmico y de IA cubre fallas que provienen de decisiones automatizadas —pronóstico, pedidos, precios, ruteo—, sobre todo cuando muchos sistemas reaccionan a las mismas señales al mismo tiempo o actúan más rápido de lo que las personas pueden revisarlas.

02Why it mattersPor qué importa

Supply chains already amplify demand signals through ordering rules — the bullwhip effect (Lee, Padmanabhan and Whang, 1997 — Management Science). Automated agents can amplify faster, and errors can correlate across many decisions. The NIST AI Risk Management Framework (2023) and the EU AI Act (2024) set expectations for oversight and documentation.

Las cadenas ya amplifican las señales de demanda mediante sus reglas de pedido: el efecto látigo (Lee, Padmanabhan y Whang, 1997 — Management Science). Los agentes automatizados pueden amplificar más rápido, y los errores pueden correlacionarse entre muchas decisiones. El AI Risk Management Framework de NIST (2023) y la Ley de IA de la UE (2024) fijan expectativas de supervisión y documentación.

03How it is doneCómo se hace

Inventory automated decisions. List every model or agent that changes orders, prices, routes or allocations, with its owner.

Set guardrails. Define limits — order size, price change, spend — beyond which a person must approve.

Monitor for drift and herding. Track outcomes against expectations and watch for many decisions moving the same way at once.

Inventaria decisiones automatizadas. Lista cada modelo o agente que cambia pedidos, precios, rutas o asignaciones, con su responsable.

Pon límites. Define topes —tamaño de pedido, cambio de precio, gasto— por encima de los cuales una persona debe aprobar.

Vigila deriva y efecto manada. Compara resultados contra lo esperado y detecta cuando muchas decisiones se mueven en la misma dirección al mismo tiempo.

04The concept in depthEl concepto a fondo

🏛️How autonomy changes the risk physics›

Autonomous agents change three risk parameters simultaneously: speed (errors propagate in machine time, ahead of human detection), correlation (agents trained on similar signals fail similarly, removing the diversification human judgment provided), and opacity (the causal chain behind a decision becomes harder to reconstruct precisely when reconstruction matters most). Classic supply chain failure modes — bullwhip, allocation spirals — re-emerge with shorter periods and higher amplitude when agent loops couple. D17 treats this as a standing systemic risk class, not an IT topic.

🔍Oversight instruments: ROR thresholds and circuit breakers›

Governance of algorithmic systemic risk operationalizes through measurable instruments: ROR monitoring over the agent portfolio with thresholds that trigger explainability investment or autonomy restriction; circuit breakers that revert defined agent groups to deterministic fallbacks under anomaly conditions; blast-radius limits on what any single agent or coupled group can commit; and post-event reconstructability requirements (decision logging) as a condition of autonomy. The agent engineering lives in D13 and regulatory mapping in D19; D17 sets and audits the risk thresholds.

🏛️Cómo cambia la autonomía la física del riesgo›

Los agentes autónomos cambian tres parámetros de riesgo a la vez: velocidad (los errores se propagan a tiempo de máquina, antes de que un humano los detecte), correlación (agentes entrenados con señales parecidas fallan de forma parecida, lo que elimina la diversificación que aportaba el juicio humano) y opacidad (la cadena causal detrás de una decisión se vuelve más difícil de reconstruir justo cuando más importa). Los modos de falla clásicos de la cadena —efecto látigo, espirales de asignación— reaparecen con periodos más cortos y mayor amplitud cuando los ciclos de los agentes se acoplan. D17 trata esto como una clase permanente de riesgo sistémico, no como un tema de TI.

🔍Instrumentos de supervisión: umbrales de ROR y cortacircuitos›

El gobierno del riesgo sistémico algorítmico se opera con instrumentos medibles: monitoreo del ROR sobre el portafolio de agentes, con umbrales que detonan inversión en explicabilidad o restricción de autonomía; cortacircuitos que regresan grupos definidos de agentes a reglas deterministas ante condiciones anómalas; límites de alcance sobre lo que un agente o grupo acoplado puede comprometer; y requisitos de reconstrucción posterior (registro de decisiones) como condición para la autonomía. La ingeniería de agentes vive en D13 y el mapeo regulatorio en D19; D17 fija y audita los umbrales de riesgo.

05How it is measuredCómo se mide

Guardrail coverage

Share of automated decisions with defined limits and human escalation.

Override rate

Share of automated decisions changed by people, tracked for trends.

Cobertura de límites

Porcentaje de decisiones automatizadas con topes definidos y escalamiento humano.

Tasa de anulación

Porcentaje de decisiones automatizadas modificadas por personas, con seguimiento de tendencias.

06What you would useQué se usa

Model monitoring and governance tools such as Credo AI, IBM watsonx.governance and Arize AI track models in production; planning platforms log automated changes for audit.

Herramientas de monitoreo y gobierno de modelos como Credo AI, IBM watsonx.governance y Arize AI siguen los modelos en producción; las plataformas de planeación registran los cambios automatizados para auditoría.

The bottom lineEn corto

Automate with limits and monitoring, so a bad model makes one bad decision, not a thousand.

Automatiza con límites y monitoreo, para que un mal modelo tome una mala decisión, no mil.

← PreviousAnteriorSupply chain cyber riskRiesgo cibernético en la cadena de suministro NextSiguiente →Pandemic & systemic shock preparednessPreparación para pandemias y choques sistémicos

All D17 componentsTodos los componentes de D17 D17 artifactsArtifacts de D17 SCRA