02 / 04Volver al hub

Caso real · Salud · 2025

Aseguradora Aurea. Un triage clínico con IA. Y un DPO que paró la producción.

Cómo pasamos de un LLM triando llamadas de urgencia sin DPIA a un triage clínico auditable, con logs firmados y firma explícita del DPO en cada release.

PIIDPIAAprobación DPO

2,4M

Asegurados salud

18k llamadas/día al 24/7

1 LLM

Triando prioridad clínica

en pre-producción desde hace 4 meses

0

DPIA vigentes para el sistema

sobre datos de salud (categoría especial)

Lo que dijo el equipo médico

"Funciona muy bien. El LLM prioriza mejor que el árbol de decisión anterior. Queremos pasarlo a producción."

"Nos entusiasmamos con la métrica. Nos olvidamos de que estaba manejando datos de salud sin base legal firmada."

El modelo priorizaba llamadas de urgencia con mejor recall que el sistema anterior. Pero no había DPIA, los logs no distinguían PII, no había política sobre retención y nadie firmaba las releases. El DPO frenó la puesta en producción a 2 semanas del go-live.

Lo que encontramos en varios lugares

3 incoherencias que revelaban el problema real

#1

PII de salud en logs sin ninguna protección.

Miramos los logs de las últimas 48h en el entorno de test. Descubrimos qué se estaba guardando de cada llamada.

logs_triage · muestra 48h · pre-producción
CampoContenido observadoCategoríaTratamiento
prompt.userTexto libre con síntomasSaludPlano
prompt.contextNombre + póliza + históricoIdentificativo + saludPlano
model.responseDiagnóstico sugerido + prioridadSaludPlano
metadata.callerTeléfono + IPIdentificativoPlano
retentionSin política · guardado indefinido——

Categoría especial (Art. 9 RGPD + AI Act Art. 10) · sin base legal · sin retención definida.

#2

La DPIA vive como Word en una carpeta compartida.

Pedimos la evaluación de impacto. Recibimos un archivo. Reconstruimos si estaba viva.

dpia_triage_v1.docx · estado real
  • Última modificaciónEnero 2024 (11 meses)
  • Alcance descritoÁrbol de decisión anterior, no LLM
  • Categorías de datos'Datos operacionales' — sin mención a salud
  • Análisis de riesgo IANo aplica
  • Aprobación DPO'Pendiente firma electrónica'
  • Enlace al sistema en catálogoNo existe

0 conexión entre DPIA y sistema real · DPO no había podido firmar nada.

#3

Cada release se hace por Slack. Sin firma. Sin registro.

Preguntamos quién autoriza cada versión a producción. Reconstruimos el proceso real.

release_process · triage clínico
  • 1 · Data scientist entrenaEn su portátil, con dataset local
  • 2 · MR a GitSin revisión de fairness ni de PII
  • 3 · Deploy a stageAutomático desde main
  • 4 · 'OK del médico'Mensaje en Slack — sin adjuntos
  • 5 · Deploy a producciónManual · sin ticket · sin DPO
  • 6 · Registro de la versiónEn el commit de Git

0 firmas del DPO en producción · 0 evidencia de fairness · release invisible para Compliance.

El giro

"No estás desplegando un modelo. Estás procesando datos de salud a escala sin base legal firmada."

Propuesta: rediseño de gobernanza del sistema, DPIA viva conectada al catálogo y 4 copilots que sostienen el ciclo de vida del triage.

Estrategia + diseño (Var Group Health Practice) + plataforma Aura Sentinel + copilots que hacen que cada release pase por la firma del DPO sin frenar el ritmo del equipo médico.

Estrategia Var GroupDiseño de la soluciónPlataforma Aura Sentinel4 copilots operativos

Los 4 copilots que resuelven el problema

Un equipo multi-agente, un solo Audit Center

Compliance Copilot

Gemini 2.5 Pro · RAG AI Act + RGPD Art. 9 + guías EDPB

Detecta el uso de datos de categoría especial y genera el borrador de DPIA + política de PII.

Resuelve · Hallazgo #1

PII de salud en logs sin protección ni retención.

Resuelve · Hallazgo #2

DPIA obsoleta y desconectada del sistema real.

Escanea prompts, respuestas y metadatos. Clasifica automáticamente las categorías de datos (Art. 9 RGPD + Anexo III AI Act). Genera borrador de DPIA con alcance, riesgos y medidas técnicas, y lo enlaza vivo al sistema en el catálogo.

  1. 01
    Detección de PII — NER médico + reglas por vertical · marca campos sensibles.
  2. 02
    Borrador DPIA — Alcance, base legal candidata, riesgos, medidas técnicas.
  3. 03
    Enlace al sistema — DPIA vive como evidencia AI Act firmable en el hub.
  4. 04
    Recordatorio de revisión — Cada 6 meses o ante cambio material del sistema.

Risk Copilot

Claude Sonnet 4 · fairness clínico + toxicidad

Evalúa el impacto clínico y detecta sesgos de triage por atributos demográficos.

Resuelve · Hallazgo #1

Sin control de si el LLM priorizaba peor a colectivos vulnerables.

Resuelve · Hallazgo #3

Ninguna evidencia de fairness antes del deploy.

Bench continuo contra golden set clínico. Mide fairness por edad, sexo, idioma y región. Bloquea el paso a producción si supera umbral de disparate impact clínico.

  1. 01
    Golden set clínico — 1.200 casos con prioridad médica etiquetada.
  2. 02
    Fairness clínico — Recall/precisión por subgrupo · alerta si >5pp de gap.
  3. 03
    Bloqueo de release — Deploy congelado hasta explicación y aprobación.
  4. 04
    Alerta al DPO + médico — Con el caso concreto y el subgrupo afectado.

MLOps Sentinel

GPT-4o · detección de anomalías

Registro firmado de cada release y control de PII en los logs de inferencia.

Resuelve · Hallazgo #1

Logs planos con PII de salud sin hash.

Resuelve · Hallazgo #3

Releases por Slack sin trazabilidad ni firma.

Aplica hashing/tokenización configurable a los logs. Cada nueva versión requiere ticket, revisor de fairness, DPO y médico. Sin las 4 firmas, el deploy no se ejecuta.

  1. 01
    PII hashing en logs — Redacción automática + hash reversible con vault.
  2. 02
    Release gates — 4 firmas requeridas · trazables en el Audit Center.
  3. 03
    Rollback firmado — Un solo clic con constancia de quién y por qué.
  4. 04
    Retención por política — TTL diferenciado por categoría de dato.

Audit Orchestrator

Gemini 2.5 Flash · plantillas AI Act + AEPD

Genera el paquete auditable para la AEPD y prepara el auditor access.

Resuelve · Hallazgo #2

Sin trazabilidad entre DPIA y evidencias en producción.

Resuelve · Requerimiento DPO

Sin paquete auditable listo para inspección AEPD.

Consolida DPIA, logs firmados, evidencias de fairness y firmas del DPO en un paquete auditable. Habilita auditor access de solo lectura con cada consulta registrada.

  1. 01
    Paquete AEPD — DPIA + base legal + logs + medidas técnicas.
  2. 02
    Auditor access — Rol read-only con expiración y trazado por consulta.
  3. 03
    Firma inmutable — Hash + fecha + firmante en el Audit Center.
  4. 04
    Reporte al comité — Cuadro mensual de firmas, releases y hallazgos.

Impacto medido

Lo que cambió, con nombres y apellidos

0 → 100%

Releases con firma del DPO

en 8 semanas

0

Incidencias PII en producción

6 meses tras el go-live

-70%

Tiempo de preparación de auditorías

6 min

Paquete AEPD listo on demand

"Pasé de bloquear el proyecto a firmarlo cada dos semanas. La diferencia no es la tecnología: es que ahora tengo la evidencia delante cuando firmo."

Data Protection Officer · Aseguradora Aurea