Imagen generada con ChatGPT. Hay una imagen que me ronda la cabeza desde hace tiempo. Vas andando tan tranquilo por la calle, con tus problemas de siempre: trabajo, niños, facturas, el grupo de WhatsApp del cole. Oyes un ruido fuerte, giras la cabeza, ves un coche que pierde el control… y unos segundos después, todo se apaga.
Te ha matado un coche autónomo.
¿Pero a quién culparías realmente?
¿Al fabricante del coche? ¿Al programador que escribió el algoritmo de frenado? ¿Al equipo que entrenó el modelo de IA con millones de ejemplos? ¿A la empresa que lo puso en la calle a medias porque “ya mejorará con los datos de los usuarios”? ¿Al regulador que lo autorizó sabiendo que no era perfecto?
Y debajo de todo esto hay una cuestión todavía más incómoda: ¿Qué pasa cuando una máquina “decide” que tú eres el daño colateral aceptable?
🕒 Resumen para gente con prisa
Tiempo estimado de lectura del artículo completo: 12 minutos.
Un coche autónomo te atropella. No hay conductor. No hay intención. Sólo una cadena de decisiones técnicas, comerciales y morales que alguien tomó hace años y que, en ese instante, te convierte en una estadística.
¿A quién culparías? ¿Al fabricante, al programador, al modelo, al regulador… o a todos un poco?
La verdad incómoda es que la responsabilidad se diluye a medida que la inteligencia artificial decide por nosotros. Cada capa —el algoritmo, el dato, la empresa, el Estado— reparte un poco de culpa y nadie firma la decisión final.
Los coches autónomos son el ejemplo más visible de un dilema mucho mayor: estamos delegando juicio moral en sistemas que no tienen conciencia ni miedo a equivocarse. La tecnología no es neutral: refleja nuestras prioridades y nuestros sesgos. Y cuando esas prioridades se esconden bajo la palabra progreso, el daño se torna invisible.
Quizá el problema no sea que las máquinas tomen decisiones, sino que nosotros dejemos de asumir la responsabilidad derivada.
La mentira amable de la tecnología neutral
Nos encanta pensar que la tecnología es neutral. Que los algoritmos sólo aplican lógica y matemáticas. Que si algo falla, ha sido un accidente y no una decisión.
Pero no hay nada más político, más moral y más sesgado que un sistema complejo que toma decisiones automáticas.
Un coche autónomo no “ve” el mundo como tú y como yo. Interpreta píxeles, distancias, probabilidades, trayectorias… Y sobre esa interpretación, alguien (un equipo, una empresa, un comité) ha definido qué es un riesgo aceptable, qué es un comportamiento seguro y qué se prioriza cuando no se puede salvar a todo el mundo.
Ahí es donde se acaba el mito de la neutralidad y empiezan las decisiones incómodas.
Porque, cuando programas un sistema así, estás respondiendo a preguntas que suenan a examen de filosofía, no a especificación técnica:
- ¿Vale lo mismo la vida de un pasajero que la de un peatón?
- ¿Debe el coche proteger siempre a quien va dentro, cueste lo que cueste?
- ¿Y si para salvar a cinco personas tiene que atropellar a una?
- ¿Qué pasa si esa persona es un niño y los cinco son adultos?
- ¿Hay casos en los que el coche debería sacrificar a su propio ocupante?
Esto ya no es un problema teórico. Es algo que se traduce en código, parámetros, prioridades y pesos relativos. Y tú no decides sobre ninguno de ellos.
El dilema del tren convertido en un requisito de negocio
El famoso dilema del tren lo conocemos casi todos: Un tren va sin frenos directo hacia cinco personas. Puedes accionar una palanca para desviar el tren hacia otra vía donde sólo hay una persona. Si no haces nada, mueren cinco. Si actúas, muere una. ¿Qué haces?
Hasta hace poco, esto se quedaba en debates de bar, clases de ética o hilos de Twitter. Ahora es, literalmente, una especificación funcional:
“Definir estrategia de minimización de daño en escenarios de colisión inevitable”.
Es decir, el dilema del tren se ha convertido en un requisito de negocio.
Alguien tiene que tomar esa decisión. No como ejercicio intelectual, sino como parte de un producto que después se venderá, se homologará y circulará por tu barrio.
Y ojo, no estamos hablando sólo del caso extremo en el que el coche elige a quién matar. El mismo sesgo aparece en muchos niveles más sutiles: ¿cuándo frena demasiado pronto? ¿Cuándo decide que el riesgo es aceptable y sigue adelante? ¿Qué tipos de errores se toleran y cuáles son inaceptables?
Cada una de esas decisiones empuja la estadística hacia un sitio: más accidentes evitados aquí, más riesgo aceptado allá.
El sesgo inevitable de la programación
Cuando pensamos en sesgo, solemos imaginar algo burdo: racismo explícito en los datos, modelos que discriminan por género… ese tipo de cosas. Y sí, eso es real y gravísimo. Pero en el caso de los coches autónomos hay una forma de sesgo todavía más inevitable: la necesidad de elegir una prioridad**.**
No puedes construir un sistema complejo sin decidir qué optimiza, qué minimiza y qué sacrifica cuando las cosas se ponen feas.
Si el objetivo es minimizar el daño total, puede que el coche tenga que tomar decisiones que, vistas desde tu punto de vista individual, resulten horribles:
“El coche giró hacia mí porque, estadísticamente, matarme a mí reducía el daño global”.
No hace falta que nadie lo redacte así en la documentación comercial, pero en el fondo es lo que hay.
Y cuanto más sofisticado es el sistema, más se diluye la sensación de que “alguien” ha tomado esa decisión. El desarrollador ajusta parámetros. El jefe de producto define requisitos. El comité de ética discute casos. El regulador pide garantías. El modelo se entrena con millones de ejemplos. Cada cual hace una pequeña parte.
Al final, sin embargo, la consecuencia es muy concreta en determinados escenarios:
Una persona viva. Otra muerta.
Los casos reales que no queremos mirar
Todo esto sería teoría si no hubiera pasado ya. Y no una, sino varias veces.
1) Uber, 2018 — El primer caso mortal documentado
Un coche autónomo de Uber atropelló y mató a Elaine Herzberg en Tempe (Arizona). El sistema la detectó con antelación, pero no consiguió clasificarla correctamente. Uber había desactivado el frenado automático para evitar falsos positivos. La conductora iba distraída. La regulación no exigía explicabilidad1.
Todo falló un poco. Nada falló del todo. Elaine Herzberg murió.
Y la única acusada fue la conductora, no la empresa.
2) Tesla — Cuando el marketing pesa más que la realidad
En 2016, un Tesla Model 3 con Autopilot activado chocó fatalmente contra un camión blanco que estaba volcado en una carretera de Florida. El sistema confundió el remolque con el cielo brillante y no lo identificó como obstáculo. El radar, además, estaba configurado para ignorar objetos grandes y estáticos que pudieran provocar frenazos innecesarios. El coche no frenó. El conductor, confiado, tampoco.
Tesla insistía en que Autopilot era solo una ayuda a la conducción, pero lo presentaba como si fuera casi autónomo.
Todo falló un poco. Nada falló del todo. Joshua Brown murió.
Y la responsabilidad quedó flotando entre el marketing, la tecnología y unas expectativas equivocadas.
3) Cruise, 2023 — Cuando la autonomía falla en situaciones no previstas
En 2023, un coche autónomo de Cruise atropelló a una mujer que acababa de ser golpeada por otro vehículo en San Francisco. El sistema no entendió la escena: detectó un obstáculo pero no interpretó que era una persona herida en el suelo. Al intentar apartar el coche para ponerse a salvo, la arrastró varios metros sin comprender el contexto.
Las autoridades suspendieron inmediatamente la licencia de Cruise. La empresa retiró toda su flota de circulación.
Todo falló un poco. Nada falló del todo.
Y esta vez no hubo un conductor al que culpar: solo un sistema que no supo qué hacer cuando la realidad dejó de parecerse a la simulación.
Si observamos estos casos juntos, la conclusión es inevitable: el futuro ya está aquí, pero aún no hemos decidido quién debe responder cuando se equivoca.
Dónde estamos realmente: tecnología y regulación en 2025
La conducción autónoma ya no es un experimento. Waymo opera robotaxis en varias ciudades de EE. UU., Tesla sigue expandiendo su sistema Full Self-Driving y otras compañías prueban vehículos sin conductor en situaciones reales. La tecnología es impresionante, pero sigue siendo frágil. Funciona de forma brillante en escenarios normales y tropieza cuando aparece lo inesperado: obras, peatones imprevisibles, vehículos de emergencia, condiciones de luz poco habituales. Justo los momentos donde una mala decisión cuesta una vida.
Los reguladores intentan ponerse al día. En Europa, la AI Act clasifica estos sistemas como “alto riesgo”, exigiendo más documentación, supervisión y trazabilidad. Y el reglamento UNECE R157 define cómo deben comportarse los sistemas de nivel 32: cuándo pueden tomar el control y cuándo deben devolverlo al conductor. En Estados Unidos, el enfoque es más práctico y descentralizado. Estados como California permiten probar robotaxis, pero no dudan en suspender operaciones cuando hay un riesgo evidente, como ocurrió en el caso de Cruise.
El resultado es un punto intermedio incómodo: la tecnología ya es lo bastante buena como para que deleguemos en ella, pero aún no lo suficiente como para hacerlo sin reservas. Estamos aprendiendo a convivir con sistemas capaces de tomar decisiones críticas sin haber decidido del todo cómo queremos que lo hagan ni quién responde cuando fallan.
Responsabilidad distribuida, culpa diluida
En los sistemas clásicos, la cadena de responsabilidad estaba más clara. Si un freno fallaba, mirabas al fabricante de la pieza, al taller, al protocolo de mantenimiento. Había errores, pero el mapa era más o menos comprensible.
Con un coche autónomo, la cadena es mucho más difusa porque entran en juego más actores, tecnologías innovadoras y un factor que introduce un desequilibrio innegable: una máquina que decide por ti.
Y además, un sinfín de capas superpuestas que hacen muy difícil aislar un error (o una decisión): el fabricante del software, el creador del hardware, quien etiqueta los datos, quien entrena el modelo, quien define las políticas de seguridad, quien aprueba la salida al mercado, el regulador, y por último, el conductor que activa el modo autónomo y delega, a partir de ese momento, todas las decisiones en un sistema autónomo.
Nadie controla todo el sistema de extremo a extremo. Cada actor puede argumentar que ha hecho su parte. Y es cierto. Pero el resultado de esa suma de partes es un sistema con capacidad para matar sin que haya un culpable único reconocible.
Es la tormenta perfecta: muchos responsables parciales, una víctima muy concreta y un contexto técnico lo bastante complejo para que nadie lo entienda del todo.
Y por si fuera poco, añadimos el marketing:
“Nuestro sistema reduce un 90% los accidentes de tráfico”.
¿Es verdad? Puede ser. Pero cuando tú eres el 10% restante, las estadísticas consuelan más bien poco.
El falso consuelo de la mejora continua
Otro argumento clásico es:
“Sí, al principio habrá fallos, pero el sistema aprenderá. Cuantos más coches haya en circulación, más mejorará el modelo”.
Desde un punto de vista técnico, esto tiene sentido. Desde un punto de vista humano, es inquietante. Porque lo que estamos diciendo, básicamente, es:
“Aceptamos que habrá víctimas de la fase de aprendizaje”.
La diferencia con otros productos es que, en este caso, la fase de aprendizaje no se hace en un entorno controlado, sino en la calle, entre personas reales que no han firmado un consentimiento especial para ser conejillos de indias.
¿De verdad nos da miedo la máquina?
Tengo la sensación de que, muchas veces, lo que nos inquieta no es tanto la posibilidad de morir, como la idea de morir por culpa de algo que consideramos inhumano.
Nos resulta más fácil aceptar que otro conductor se distraiga, que alguien beba y coja el coche, que un camión invada el carril por un error humano. Nos cabrea, nos indigna, pero lo entendemos: somos frágiles y nos equivocamos.
Lo que nos cuesta aceptar es que un conjunto de sensores conectado a un modelo de machine learning, afinado según criterios de negocio y supervisado por reguladores desbordados, haya decidido que, en una fracción de segundo, nuestra vida era la pieza sacrificable del tablero.
Un respiro: lo que sí estamos haciendo bien
De todas formas, no todo es tan oscuro. Ningún sistema potencialmente peligroso ha llegado al mercado sin pasar por un proceso, a veces largo y doloroso, de adaptación social y técnica. Ocurrió con la aviación, con la energía nuclear, con los medicamentos, con Internet y con prácticamente cualquier innovación que hoy nos parece normal.
La diferencia, en este caso, no es tanto la tecnología en sí como el tipo de decisiones que delegamos en ella. Antes discutíamos sobre infraestructura; ahora discutimos sobre criterio, sobre juicio, sobre qué significa “hacer lo correcto” cuando no hay una respuesta obvia.
Aun así, algo está cambiando para bien. Los reguladores empiezan a exigir trazabilidad para que podamos reconstruir qué modelo tomó qué decisión y con qué datos. Las empresas son cada vez más conscientes de que ya no pueden esconder el sesgo bajo la alfombra, porque la opinión pública no lo tolera y la reputación tecnológica se ha vuelto frágil. La sociedad, además, empieza por fin a hacerse preguntas incómodas que hace apenas unos años ni siquiera estaban en la conversación. Y, mientras tanto, la investigación avanza hacia modelos más auditables, más explicables y, en algunos casos, deliberadamente más conservadores.
No vamos a eliminar el riesgo, pero sí podemos reducirlo, entenderlo y hacerlo visible. La transparencia no evita los errores, pero evita que los normalicemos. Y quizá, con suficiente presión social, acabemos construyendo sistemas que no solo sean más seguros, sino también más justos.
Un futuro mejor no está garantizado, pero tampoco descartado. Depende, en buena parte, de lo que exijamos hoy.
Entonces, ¿a quién culparías?
Si un coche autónomo te mata, podrás intentar culpar a muchos, desde la marca porque lo vendió hasta los reguladores por haberlo autorizado, pasando por toda la cadena de fabricación y desarrollo. Incluso a la sociedad por haber asumido que “la IA es el futuro” sin preguntar demasiado.
Legalmente, lo más fácil será señalar a la empresa que pone su logo en el capó y firma la garantía. Tiene abogados, pólizas de seguro y un departamento de comunicación preparado para estas crisis.
Moralmente es más complicado. Porque, si rascas un poco, descubres que el coche ha aplicado exactamente la lógica que alguien decidió que era correcta, el modelo ha respondido según los datos que alguien escogió y la prioridad de proteger al pasajero frente al peatón, o al revés, se tomó en una reunión hace años, en una sala donde nadie pensaba todavía en ti.
La extrapolación inevitable
Hablamos de coches autónomos porque es un ejemplo concreto, visible y fácil de imaginar. Pero el verdadero problema, más allá del coche, es el patrón. La inteligencia artificial está empezando a ocupar más tareas, más roles y más decisiones que antes dábamos por sentadas. Y cada vez que delegamos una de ellas sin entenderla, sin supervisarla o sin exigir responsabilidades claras, cedemos un pequeño fragmento de nuestro juicio a algo que no tiene ni conciencia ni contexto, y que por supuesto no pone en juego su propio pellejo.
Hoy es el volante. Mañana serán los diagnósticos médicos, los procesos judiciales, la selección de candidatos, la asignación de recursos públicos o la evaluación del rendimiento escolar. Si seguimos avanzando sin preguntarnos quién responde cuando una IA se equivoca, acabaremos construyendo sistemas donde todos delegan y nadie asume nada. Y quizá lo verdaderamente peligroso no sea que las máquinas tomen decisiones, sino que nosotros dejemos de tomarlas.
Una sospecha incómoda
Tengo una sospecha que no me quito de encima. Nos fascina la inteligencia artificial, en parte, porque nos ayuda a repartir la culpa. Si un humano se equivoca, podemos señalarlo. Si una máquina se equivoca, siempre queda margen para decir que “es un fallo del sistema”. Nos permite seguir avanzando, seguir innovando, seguir vendiendo. Nos permite dormir más tranquilos.
Pero en el fondo sabemos que, cuando una IA “decide” mal, no es la máquina la que falla. Somos nosotros delegando decisiones morales en procesos que preferimos no mirar demasiado de cerca.
Vuelvo al principio: ¿a quién culparías si te matara un coche autónomo? Tal vez la pregunta más honesta sea esta otra:
¿Quién está dispuesto a asumir, por escrito, que programó un sistema donde tu muerte podía ser una opción legítima?
Mientras nadie quiera firmar eso, seguiremos escondiendo el problema tras palabras bonitas: innovación, progreso, seguridad, minimización de daños, conducción asistida, inteligencia artificial.
Y quizá el verdadero reto no sea construir máquinas que cometan menos errores que nosotros, sino aprender a mirar de frente las decisiones que escondemos dentro de su código.
Referencias
- Dave Lee (2019). Autos sin conductor de Uber: la distracción humana que fue la “causa inmediata” de un fatal accidente en Arizona. bbc.com
- Matías S. Zavia (2020). La visibilidad era perfecta, pero este Tesla Model 3 no vio el camión. gizmodo.com
- Newsweek en español (2023). Vehículo autónomo atropella a mujer en EUA. newsweekespanol.com
- Artificial Intelligence Act (2024). The Act Texts | EU Artificial Intelligence Act. artificialintelligenceact.eu
- UNECE (2021). UN Regulation No. 157 - Automated Lane Keeping Systems (ALKS). unece.org
1 La capacidad de un modelo o sistema para explicar por qué ha tomado una decisión de una manera que los humanos puedan comprenderla. 2 Los sistemas de conducción autónoma se clasifican según la norma SAE (Society of Automotive Engineers) en seis niveles, del 0 al 5:
**• Nivel 0 — Sin automatización: **El coche no toma decisiones por sí mismo. Toda la conducción depende del humano.
**• Nivel 1 — Asistencia al conductor: **El sistema puede hacer una tarea concreta (p. ej., mantener la velocidad o mantener el carril), pero el conductor controla todo lo demás.
**• Nivel 2 — Automatización parcial (lo que usa Tesla hoy): **El coche puede acelerar, frenar y girar simultáneamente, pero el conductor debe supervisar y es responsable en todo momento.
**• Nivel 3 — Automatización condicional: **El sistema conduce por sí solo en situaciones específicas (p. ej., autopistas bien señalizadas). El coche es responsable de la conducción mientras el sistema está activo, pero puede pedir al humano que retome el control.
**• Nivel 4 — Alta automatización: **El coche puede conducir sin intervención humana en zonas o condiciones muy concretas (ciertas ciudades, ciertos climas). Si algo va mal, el coche debe poder “resolverlo” sin pedir ayuda humana.
**• Nivel 5 — Automatización total: **Conduce solo en cualquier entorno, sin volante ni pedales. Todavía no existe comercialmente.