D12 · L3 · 02 — L2 · Supply Chain Data Architecture & InfrastructureL2 · Arquitectura e Infraestructura de Datos de la Cadena

Real-time data streaming: Kafka, event-driven supply chains & IoT integrationStreaming de datos en tiempo real: Kafka, cadenas de suministro event-driven e integración IoT

The event that happens on the floor and reaches the system in milliseconds is the foundation of a real-time supply chain.

El evento que ocurre en el piso y llega al sistema en milisegundos es el fundamento de la SC en tiempo real.

01What it isQué es

Data streaming captures each supply chain event — a scan, a temperature reading, a GPS ping, an order — the moment it happens and processes it continuously, so downstream systems and people can react in seconds instead of waiting for the next batch.

El streaming de datos captura cada evento de la cadena —un escaneo, una lectura de temperatura, una señal GPS, un pedido— en el momento en que ocurre y lo procesa de forma continua, para que los sistemas y las personas reaccionen en segundos en lugar de esperar al siguiente batch.

02Why it mattersPor qué importa

Delayed and batched information is a root cause of distortion and overreaction along the chain. Information lags and order batching are among the classic causes of the bullwhip effect (Lee, Padmanabhan and Whang, 1997 — Management Science). Streaming shrinks that lag where minutes matter — cold chain excursions, late orders, line deviations — while the rest of the data can stay in batch.

La información retrasada y agrupada en lotes es una causa raíz de distorsión y sobrerreacción a lo largo de la cadena. Los retrasos de información y el agrupamiento de pedidos están entre las causas clásicas del efecto látigo (Lee, Padmanabhan and Whang, 1997 — Management Science). El streaming reduce ese retraso donde los minutos importan —excursiones de cadena de frío, pedidos tardíos, desviaciones de línea—, mientras el resto de los datos puede seguir en batch.

03How it is doneCómo se hace

1
Pick latency-critical decisions. Stream only the events whose value decays in minutes, such as temperature excursions, late shipments or line deviations.
2
Agree the event contract. Define each event's schema, keys and meaning with the business users who will act on it, and version it deliberately.
3
Monitor for silence. Alert when a stream stops receiving events or its latency drifts, not only when values go out of range.
1
Elige decisiones críticas en latencia. Haz streaming solo de los eventos cuyo valor se pierde en minutos, como excursiones de temperatura, embarques tardíos o desviaciones de línea.
2
Acuerda el contrato del evento. Define el esquema, las llaves y el significado de cada evento con los usuarios de negocio que actuarán sobre él, y versiónalo con disciplina.
3
Monitorea el silencio. Alerta cuando un stream deja de recibir eventos o su latencia se desvía, no solo cuando los valores salen de rango.

04The concept in depthEl concepto a fondo

⚡Data streaming: the supply chain that reacts in seconds, not days›
Data streaming (capturing and processing events in real time as they occur) is the architecture that enables the reactive supply chain: the temperature rupture alert that arrives 2 minutes after the event, the production plan adjustment triggered when the CEDIS sensor detects inventory fell below the reorder point, or the proactive customer notification that goes out automatically when the system detects an order will be late.
📊Most widely used streaming platforms in supply chain›
Apache Kafka: the most widely adopted open-source event streaming platform in enterprise. Enables real-time event publishing and consumption with high throughput and low latency. Confluent Cloud: a managed cloud version of Kafka. AWS Kinesis / Azure Event Hubs / Google Pub/Sub: cloud-native alternatives for companies that don't want to manage their own Kafka infrastructure. Apache Flink: a leading stream processing engine — enables complex real-time stream operations (joins, aggregations, time windows).
🔢The most valuable streaming use cases in supply chain›
(1) Cold chain temperature monitoring: excursion alert in <2 minutes. (2) Real-time inventory visibility: each WMS movement publishes an event that updates available inventory in the lakehouse. (3) Real-time transport tracking: truck GPS position published every 30 seconds, feeding the dynamic ETA to the customer. (4) Production line anomaly detection: line sensors publish quality metrics in real time — if a process deviation occurs, it is detected before defective products leave the line.
🏆Intermediate vs. Advanced›
Intermediate: consumes events from available streaming systems for assigned operations (temperature alerts, transport tracking).

Advanced: designs the streaming architecture for supply chain use cases; implements real-time event pipelines; manages IoT system integration.
⚡Streaming de datos: la cadena de suministro que reacciona en segundos, no en días›
El streaming de datos (capturar y procesar eventos en tiempo real conforme ocurren) es la arquitectura que habilita la cadena de suministro reactiva: la alerta de ruptura de temperatura que llega 2 minutos después del evento, el ajuste del plan de producción que se dispara cuando el sensor del CEDIS detecta que el inventario cayó por debajo del punto de reorden, o la notificación proactiva al cliente que sale automáticamente cuando el sistema detecta que un pedido llegará tarde.
📊Plataformas de streaming más usadas en supply chain›
Apache Kafka: la plataforma open source de streaming de eventos con mayor adopción en la empresa. Permite publicar y consumir eventos en tiempo real con alto throughput y baja latencia. Confluent Cloud: una versión administrada de Kafka en la nube. AWS Kinesis / Azure Event Hubs / Google Pub/Sub: alternativas nativas de la nube para empresas que no quieren administrar su propia infraestructura de Kafka. Apache Flink: uno de los principales motores de procesamiento de streams; permite operaciones complejas en tiempo real (joins, agregaciones, ventanas de tiempo).
🔢Los casos de uso de streaming más valiosos en supply chain›
(1) Monitoreo de temperatura en cadena de frío: alerta de excursión en menos de 2 minutos. (2) Visibilidad de inventario en tiempo real: cada movimiento del WMS publica un evento que actualiza el inventario disponible en el lakehouse. (3) Rastreo de transporte en tiempo real: la posición GPS del camión se publica cada 30 segundos y alimenta el ETA dinámico al cliente. (4) Detección de anomalías en línea de producción: los sensores publican métricas de calidad en tiempo real; si ocurre una desviación del proceso, se detecta antes de que productos defectuosos salgan de la línea.
🏆Intermedio vs. Avanzado›
Intermedio: consume eventos de los sistemas de streaming disponibles para las operaciones asignadas (alertas de temperatura, rastreo de transporte).

Avanzado: diseña la arquitectura de streaming para los casos de uso de supply chain; implementa pipelines de eventos en tiempo real; gestiona la integración de sistemas IoT.

05In practiceEn la práctica

⚡Streaming is the correct architecture for latency-sensitive use cases — not for all use cases›
An inventory dashboard reviewed once a day does not need streaming. A pharmaceutical cold chain temperature alert that can prevent discarding $200K USD of product does.
🔢Kafka is the most widely adopted enterprise streaming platform — but has a learning curve›
Kafka implementation requires data engineering experience. For companies without a data engineering team, Confluent Cloud or cloud-native alternatives (AWS Kinesis, Azure Event Hubs) have a lower learning curve.
🔗Design the streaming event schema with the business team — the schema is the contract›
A poorly designed event schema that changes frequently breaks stream consumers and generates technical debt. The schema must be designed with the business users who understand what data they need.
📊Implement streaming pipeline monitoring from day 1 — silent failures are the greatest risk›
A streaming pipeline that stops receiving events from the temperature sensor but generates no "pipeline with no data" alert is more dangerous than not having the pipeline at all.
⚡El streaming es la arquitectura correcta para casos de uso sensibles a la latencia, no para todos›
Un dashboard de inventario que se revisa una vez al día no necesita streaming. Una alerta de temperatura en cadena de frío farmacéutica que puede evitar desechar $200K USD de producto, sí.
🔢Kafka es la plataforma de streaming empresarial con mayor adopción, pero tiene curva de aprendizaje›
Implementar Kafka requiere experiencia en ingeniería de datos. Para empresas sin equipo de ingeniería de datos, Confluent Cloud o las alternativas nativas de la nube (AWS Kinesis, Azure Event Hubs) tienen una curva de aprendizaje menor.
🔗Diseña el esquema de eventos con el equipo de negocio: el esquema es el contrato›
Un esquema de eventos mal diseñado que cambia con frecuencia rompe a los consumidores del stream y genera deuda técnica. El esquema debe diseñarse con los usuarios de negocio que entienden qué datos necesitan.
📊Monitorea los pipelines de streaming desde el día 1: las fallas silenciosas son el mayor riesgo›
Un pipeline de streaming que deja de recibir eventos del sensor de temperatura sin generar una alerta de "pipeline sin datos" es más peligroso que no tener pipeline.

06Illustrative caseCaso ilustrativo

Illustrative case built from typical industry values — not data from a specific company.Caso ilustrativo construido con valores típicos de la industria — no son datos de una empresa específica.
Illustrative case: Streaming implementation for cold chain monitoring — pharmaceutical company
The company implements Kafka for real-time monitoring of 840 active temperature-controlled pharmaceutical shipments (2–8°C).
Capability enabled by streamingBefore (4-hour batch)After (real-time streaming)
Detection of temperature excursions outside 2–8°C rangeDetection with up to 4-hour delay · Excursion already irreversible when detectedDetection in <2 minutes · 68% of excursions are reversible (driver can open refrigeration unit)
Proactive customer notification when shipment is at riskNo proactive notification · Customer discovered the problem when order arrivedAutomatic customer notification in <3 minutes of detection · Customer NPS: +18 points
Automatic Non-Conformance Report (NCR) generationManual · 2.4 hours per NCRAutomatic in <5 minutes · 100% NCR completeness
Result: Shipments with irreversible excursions: 4.2% → 1.4% (−67%). Savings from rescued shipments: $4.8M USD/year in high-value shipments that previously had to be discarded. Automatic NCR reduced non-conformity closure time from 8 days to 2 days.
Illustrative case built from typical industry values — not data from a specific company.Caso ilustrativo construido con valores típicos de la industria — no son datos de una empresa específica.
Caso ilustrativo: implementación de streaming para monitoreo de cadena de frío — empresa farmacéutica
La empresa implementa Kafka para monitorear en tiempo real 840 embarques farmacéuticos activos con temperatura controlada (2–8 °C).
Capacidad habilitada por streamingAntes (batch cada 4 horas)Después (streaming en tiempo real)
Detección de excursiones de temperatura fuera del rango 2–8 °CDetección con hasta 4 horas de retraso · Excursión ya irreversible al detectarseDetección en <2 minutos · 68% de las excursiones son reversibles (el operador puede actuar sobre la unidad de refrigeración)
Notificación proactiva al cliente cuando el embarque está en riesgoSin notificación proactiva · El cliente descubría el problema al llegar el pedidoNotificación automática al cliente en <3 minutos desde la detección · NPS del cliente: +18 puntos
Generación automática del reporte de no conformidad (NCR)Manual · 2.4 horas por NCRAutomática en <5 minutos · 100% de completitud de los NCR
Resultado: Embarques con excursiones irreversibles: 4.2% → 1.4% (−67%). Ahorro por embarques rescatados: $4.8M USD/año en embarques de alto valor que antes debían desecharse. El NCR automático redujo el tiempo de cierre de no conformidades de 8 a 2 días.

07How it is measuredCómo se mide

⚡Event Processing Latency (streaming event processing latency)›
Event Processing Latency (streaming event processing latency)
Average time from event generation at source sensor/system to availability in destination system (alert, dashboard, model)
Benchmark: <30 seconds for temperature alerts and critical tracking · <5 minutes for real-time inventory updates
⚠️ Streaming latency >10 minutes for cold chain temperature alerts negates the streaming benefit — reaction time is too short to be actionable before damage becomes irreversible.
📊Streaming Pipeline Throughput (events per second processed)›
Streaming Pipeline Throughput (events per second processed)
Number of events per second the streaming pipeline can process without degrading latency
Benchmark: Variable by use case · Cold chain IoT: 10,000–100,000 events/second · ERP transactions: 100–1,000 events/second
🔑 Pipeline throughput determines whether it can scale to the event volume from all company IoT sensors. A saturated pipeline creates cascading delays that degrade latency for all alerts.
⚡Event Processing Latency (latencia de procesamiento de eventos en streaming)›
Event Processing Latency (latencia de procesamiento de eventos en streaming)
Tiempo promedio desde que el evento se genera en el sensor o sistema fuente hasta que está disponible en el sistema destino (alerta, dashboard, modelo)
Benchmark: <30 segundos para alertas de temperatura y rastreo crítico · <5 minutos para actualizaciones de inventario en tiempo real
⚠️ Una latencia de streaming >10 minutos en alertas de temperatura de cadena de frío anula el beneficio del streaming: el margen de reacción es demasiado corto para actuar antes de que el daño sea irreversible.
📊Streaming Pipeline Throughput (eventos procesados por segundo)›
Streaming Pipeline Throughput (eventos procesados por segundo)
Número de eventos por segundo que el pipeline de streaming puede procesar sin degradar la latencia
Benchmark: Variable según el caso de uso · IoT de cadena de frío: 10,000–100,000 eventos/segundo · Transacciones de ERP: 100–1,000 eventos/segundo
🔑 El throughput del pipeline determina si puede escalar al volumen de eventos de todos los sensores IoT de la empresa. Un pipeline saturado genera retrasos en cascada que degradan la latencia de todas las alertas.

08What you would useQué se usa

📌 Streaming Platforms
🟦Confluent Cloud (Apache Kafka)›
Module: Event Streaming Platform for Supply Chain IoT

Confluent Cloud is the reference managed Kafka streaming platform. Ideal for IoT sensor integration, WMS/TMS events, and supply chain alerts.
🟦AWS Kinesis / Azure Event Hubs›
Module: Cloud-Native Event Streaming

Cloud-native streaming platforms for companies with AWS or Azure infrastructure. Lower operational complexity than self-managed Kafka.
📌 Plataformas de streaming
🟦Confluent Cloud (Apache Kafka)›
Módulo: Plataforma de streaming de eventos para IoT de supply chain

Confluent Cloud es la plataforma de streaming Kafka administrada de referencia. Ideal para integrar sensores IoT, eventos de WMS/TMS y alertas de supply chain.
🟦AWS Kinesis / Azure Event Hubs›
Módulo: Streaming de eventos nativo de la nube

Plataformas de streaming nativas de la nube para empresas con infraestructura en AWS o Azure. Menor complejidad operativa que un Kafka autoadministrado.
The bottom lineEn corto

Stream what loses value in minutes; batch everything else — and make sure a silent pipeline sounds an alarm.

Haz streaming de lo que pierde valor en minutos y deja en batch todo lo demás; y asegúrate de que un pipeline silencioso active una alarma.

All D12 componentsTodos los componentes de D12D12 artifactsArtifacts de D12SCRA