Un agente sin bitácora no se puede auditar

Cuando un sistema agéntico funciona bien, nadie pregunta cómo decidió. El problema llega el día que algo sale mal y hay que reconstruir qué hizo el agente, con qué información y quién lo autorizó. Si el sistema no lo registró, esa pregunta no tiene respuesta.

La ley ya lo pide

El Reglamento de Inteligencia Artificial de la Unión Europea convirtió en obligación, para los sistemas de alto riesgo, tres cosas que antes eran opcionales:

• Registro automático de eventos (artículo 12): el sistema debe dejar constancia de lo que hace.
• Supervisión humana (artículo 14): una persona tiene que poder vigilar, intervenir y apagar el sistema.
• Conservación de registros (artículo 19): la bitácora no se borra cuando conviene.

Los considerandos del Reglamento se refieren explícitamente a cadenas de sistemas: si un agente ejecuta una función de alto riesgo dentro de una cadena, la obligación lo alcanza a él también (texto oficial en EUR-Lex).

En Canadá no hay ley federal de IA, pero Quebec, con su Ley 25, ya obliga a avisarle a la persona cuando una decisión sobre ella se tomó de forma automatizada. En México todavía no hay una ley equivalente, y eso no cambia lo que un cliente regulado o un auditor van a preguntar.

El estándar técnico se está fijando

Para registrar lo que hace un agente ya existe un idioma común: las convenciones semánticas de IA generativa de OpenTelemetry, que normalizan cómo se registra cada operación de un modelo: qué modelo se usó, cuántos tokens entraron y salieron y, con consentimiento, los mensajes y las herramientas que se llamaron (OpenTelemetry). Un sistema que registra con esa forma se puede auditar con la herramienta de cualquiera, no solo con la del proveedor.

La pausa para aprobar es el mecanismo de cumplimiento

Los motores de ejecución durable, que convierten la tarea de un agente en un flujo que se puede detener y reanudar, resuelven algo más que la estabilidad técnica. Esa pausa, en la que el agente prepara, espera y una persona aprueba, es precisamente lo que pide la supervisión humana. No es una función de producto: es cómo se cumple.

Qué debe traer un sistema agéntico desde el diseño

1. Bitácora de cada acción, con quién la autorizó y con qué información.
2. Aprobación humana en todo lo que compromete a la empresa: pagos, contratos, mensajes sensibles.
3. Un freno: poder detener a un agente, o a todos, en segundos.
4. Permisos acotados: el agente solo alcanza lo que su puesto necesita.
5. Registros en un formato estándar, para que un auditor externo los pueda leer.

En resumen

Construir un sistema agéntico sin estas piezas es construir algo que funciona hasta el día que hay que explicarlo. Diseñarlas desde el principio cuesta poco. Agregarlas después de un incidente cuesta mucho.

¿Quieres revisar qué tan auditable es tu operación hoy? Habla con Luz.