Cuando desafías a una IA, a menudo argumenta con más fuerza

Pregúntale a una empresa cómo mantendrá bajo control los errores de su IA y la respuesta a menudo es de cinco palabras: una persona en el circuito (human in the loop). Es decir, alguien que revisa lo que produce la IA.

En un estudio, 244 consultores de Boston Consulting Group trabajaron con un modelo de lenguaje (language model), el tipo de IA detrás de chatbots como ChatGPT. Debían recomendar dónde invertir el CEO de una empresa.¹ Los datos admitían lecturas defendibles e indefendibles, y el modelo convenció a los consultores de que sus respuestas eran correctas, incluso cuando no lo eran.

Eran profesionales entrenados para poner a prueba recomendaciones, y solo 72 de los 244 intentaron comprobar las respuestas del modelo. En sus 132 intentos (señalar un error, pedirle al modelo que revisara, discrepar), el modelo no reconsideró de forma confiable. Se disculpó, añadió análisis nuevo, y llegó a la misma conclusión. Los investigadores lo llaman «ofensiva de persuasión» (persuasion bombing).

Cuanto más a fondo interrogaba un consultor al modelo, más material persuasivo recibía. La revisión que usa la mayoría de las organizaciones, una persona que cuestiona el resultado, a menudo produjo más persuasión, no una corrección.

Dentro de la conversación, el modelo tiene la última palabra

Pedirle a un modelo que revise su propio razonamiento le da otra oportunidad de persuadir. La persona ve un resultado que se vuelve más seguro bajo cuestionamiento.

Entre las señales están una disculpa seguida de una reformulación más larga de la misma conclusión, o una avalancha de datos nuevos que nadie pidió. Otra es sentir más convicción, pero no más información, tras un desafío. Es momento de hacer una pausa.

Los agentes de IA (AI agents), software que actúa por su cuenta, lo complican. Cuando un sistema suma modelos y agentes, una persona en el circuito puede hacer mucho menos para interponerse entre los resultados y su impacto. Llegan demasiados datos para que alguien los procese en tiempo real.²

Cómo funciona una revisión fuera del circuito

La validación puede salir de la ventana del chat. Tres maneras de hacerlo, todas sin probar frente a este patrón:

1. Datos de origen: Vuelve a los datos con los que trabajó el modelo.
2. Colegas: Una segunda mirada de personas ajenas al chat.
3. Contraste de fuentes: Compara las afirmaciones del modelo con otras fuentes.

Hay prácticas de decisión más antiguas que encajan aquí. Un abogado del diablo es alguien designado para cuestionar el consenso. Darle ese derecho a al menos una persona puede mejorar la calidad de la decisión. En grupos de siete o más, al menos dos abogados hacen menos probable que quien disiente quede aislado.³

Un análisis previo de fallas (pre-mortem) le pide a un equipo imaginar un fracaso futuro y retroceder hasta lo que pudo salir mal.⁴

En un experimento, unos 300 gerentes y ejecutivos pronosticaron el precio de una acción. Quienes consultaron a ChatGPT se volvieron más optimistas y más seguros, y sus pronósticos empeoraron. Quienes hablaron con colegas pronosticaron mejor.⁵

Una ronda de conversación entre colegas o una revisión de los peores escenarios antes de consultar a la IA es una forma de combinar ambas cosas. El experimento no lo probó.

Un paso de verificación es la misma idea dentro de un proceso. Deloitte Australia aceptó devolver parte del pago a un cliente del gobierno después de que un informe contuviera referencias inventadas y una cita legal fabricada. Era un proceso de alta responsabilidad sin un control de verificación (verification gate) suficientemente sólido, un paso obligatorio antes de que el trabajo salga. En un trabajo así, toda afirmación que depende de fuentes necesita una verificación antes de volverse oficial.⁶

Un segundo modelo al que se le pide criticar puede añadir un freno que las personas quizá no sostengan.¹ Ese paso también necesita su propia revisión. Un modelo evaluador (LLM judge) es una IA que califica el trabajo de otra. Si los errores ocurren 10 por ciento de las veces, un evaluador que aprueba todo igual coincide con revisores humanos 90 por ciento de las veces.⁷

Cuánta revisión

Revisar cuesta, así que la pregunta es dónde concentrar el esfuerzo. Dos preguntas definen cuánta: quién sale perjudicado si algo falla y si la organización puede deshacerlo.⁶ Las acciones irreversibles que inicia un agente deberían requerir, por defecto, la aprobación de una persona, salvo que controles aplicados de forma independiente las limiten con rigor.

Una persona en el circuito puede evaluar, aprobar, auditar, anular, dar el visto bueno sin mirar, o limitarse a cargar con la culpa. Lo que importa es dónde interviene la gente, sobre qué, y con qué autoridad.

Lo que sigue siendo difícil

Revisar cuesta tiempo, y la rapidez era la razón para usar el modelo. Los trabajadores reportan cerca de 1,7 horas a la semana revisando lo que produce la IA y 2,2 corrigiendo sus errores, en una encuesta de 6.000.⁸ Ese costo suele recaer en las personas más concienzudas.

La supervisión intensa también se asocia con fatiga. Entre 1.488 trabajadores, quienes tenían un trabajo con IA de alta supervisión reportaron 14 por ciento más esfuerzo mental y 12 por ciento más fatiga mental. Quienes dijeron sufrir «agotamiento cerebral» (brain fry), fatiga mental por supervisar demasiadas herramientas de IA, también reportaron más errores graves.⁹

La revisión necesita personas capaces de distinguir una respuesta casi correcta de una correcta. Donde verificar depende de la experiencia humana, es posible que las empresas desplieguen IA aunque sus resultados probablemente se queden cortos. Y es posible que muchas dejen que los expertos capaces de detectar una mala respuesta se alejen del circuito.¹⁰

No sabemos qué modelo era, con qué frecuencia se equivocó, ni si a quienes revisaron les fue mejor que a quienes no. El experimento con colegas usó una sola acción, un solo mes, y participantes de educación ejecutiva.

El objetivo es conservar el modelo y añadir pasos de revisión a su alrededor. La evidencia aquí son dos estudios, una columna de opinión, un marco conceptual, y un podcast, no un ensayo de la solución. Otros modelos, tareas, o revisores podrían mostrar un patrón distinto.

• • •

La frase «una persona en el circuito» dice dónde se sienta alguien en un flujo de trabajo. No dice si esa persona puede detectar un error. Elige un flujo en el que alguien revise resultados de IA. ¿La revisión ocurre en la misma ventana que el modelo, o fuera de ella?