El problema de la responsabilidad distribuida en sistemas complejos

CUANDO NADIE HIZO NADA MAL

Los marcos morales heredados asumen un modelo sencillo: un agente actúa, causa un daño, es responsable si podía prever y evitar el resultado.

Ese modelo funciona bien para acciones individuales. Falla para una clase de daños característica de las sociedades técnicas: aquellos que emergen de la agregación de muchas decisiones, ninguna de las cuales es individualmente incorrecta.

Un accidente en un sistema complejo suele reconstruirse así: cada operador siguió el procedimiento, cada ingeniero aplicó su criterio profesional, cada gestor tomó decisiones defendibles con la información de la que disponía. Y sin embargo el sistema falló.

LA TENTACIÓN DEL CHIVO EXPIATORIO

La respuesta institucional habitual es localizar al último eslabón, normalmente el operador que ejecutó la acción final, y atribuirle la responsabilidad.

Esta operación tiene un atractivo evidente: restaura el modelo simple, satisface la demanda social de rendición de cuentas y evita examinar la organización.

También tiene un coste práctico grave. Si la responsabilidad recae sobre quien informa de un fallo, deja de informarse. La investigación de seguridad en aviación y en medicina ha documentado que los sistemas de notificación funcionan cuando garantizan que informar no acarrea sanción, y dejan de recibir datos cuando esa garantía se rompe.

DOS CONCEPTOS QUE CONVIENE SEPARAR

La discusión mejora al distinguir la responsabilidad retrospectiva —quién debe responder por lo ocurrido— de la prospectiva —quién debe encargarse de que no vuelva a ocurrir.

Suelen atribuirse a personas distintas, y confundirlas produce respuestas malas. Un operador puede ser retrospectivamente responsable de un error concreto sin tener ninguna capacidad de rediseñar el sistema que hizo probable ese error. La responsabilidad prospectiva pertenece a quien tiene poder sobre el diseño.

Un análisis que solo produzca culpables retrospectivos y ninguna asignación prospectiva no ha hecho el trabajo.

LA DILUCIÓN COMO PROBLEMA ESTRUCTURAL

Existe un patrón organizativo reconocible en el que la responsabilidad se diluye por diseño: comités que deciden sin que ningún miembro decida, cadenas de aprobación donde cada firmante confía en el anterior, subcontratación que traslada la ejecución sin trasladar el control.

En esas estructuras nadie miente al afirmar que no era su decisión. La estructura ha producido una decisión sin decisor.

La conclusión que se impone es que la asignación de responsabilidad no puede ser solo un ejercicio posterior al daño. Debe ser un requisito de diseño: al construir un sistema, hay que poder señalar de antemano quién responderá de cada tipo de fallo. Un sistema donde esa pregunta no tiene respuesta clara es, en sentido preciso, un sistema mal diseñado.