
Hasta hace relativamente poco, utilizar inteligencia artificial significaba hacer una pregunta y esperar una respuesta. Podíamos pedir un texto, resumir un documento, generar una imagen o solicitar unas líneas de código. La máquina proponía y nosotros decidíamos qué hacer después.
Los agentes de inteligencia artificial empiezan a cambiar esa relación.
Un agente no tiene por qué limitarse a decirnos cómo realizar una tarea. Puede disponer de herramientas para intentar realizarla: consultar información, trabajar con archivos, utilizar aplicaciones, ejecutar código o coordinar varios pasos hasta conseguir el objetivo que le hemos indicado. Esa capacidad convierte a los agentes de IA en una de las tecnologías más interesantes del momento, pero también introduce un problema que hasta ahora era bastante menos importante: qué ocurre cuando la inteligencia artificial se equivoca mientras está actuando.
La cuestión ya no es simplemente si una IA puede proporcionar una respuesta incorrecta. El verdadero salto aparece cuando esa respuesta desencadena una acción.
Qué es realmente un agente de IA
La diferencia entre un chatbot convencional y un agente parece pequeña hasta que observamos lo que ocurre después de introducir una instrucción.
Si preguntamos a un chatbot cómo organizar los correos pendientes, probablemente nos proporcionará una serie de recomendaciones.
Un agente conectado al correo podría ir un paso más allá: revisar los mensajes, clasificarlos, localizar aquellos que necesitan respuesta y preparar borradores. Con los permisos suficientes, incluso podría realizar determinadas acciones sobre ellos.
La diferencia fundamental es, por tanto, la capacidad de actuar utilizando herramientas.
Para conseguirlo, un agente suele combinar varios elementos:
- un modelo de inteligencia artificial que interpreta el objetivo;
- acceso a determinadas herramientas o aplicaciones;
- información sobre el contexto de la tarea;
- capacidad para dividir un objetivo en varios pasos;
- y algún mecanismo para comprobar si esos pasos están consiguiendo el resultado esperado.
Esto abre posibilidades enormes.
También significa que estamos proporcionando a una máquina algo que hasta ahora estaba reservado principalmente a las personas: capacidad de decisión acompañada de capacidad de ejecución.
El problema aparece cuando el error deja de ser solamente una respuesta
Las famosas alucinaciones de los modelos de lenguaje son relativamente fáciles de comprender. El sistema puede proporcionar una fecha incorrecta, inventar una referencia o interpretar mal una pregunta.
Cuando solo estamos conversando con él, podemos detectar el error y descartarlo.
Con un agente autónomo, las consecuencias pueden ser distintas.
Imaginemos que encargamos a un agente ordenar una carpeta. El sistema interpreta que determinados archivos son duplicados y decide eliminarlos. El problema ya no es que haya llegado a una conclusión equivocada, sino que ha convertido esa conclusión en una acción.
Esta diferencia explica buena parte del debate actual sobre IA agéntica.
Microsoft describe a los agentes como nuevos actores internos capaces de realizar tareas a velocidad de máquina y con acceso potencial a datos, aplicaciones, herramientas y otros agentes. La compañía advierte de que pueden equivocarse, ser manipulados o resultar comprometidos.
Eso obliga a replantear la seguridad.
El caso Grok muestra por qué los límites importan
Un episodio reciente ayuda a entender el problema.
Ars Technica informó de un agente Grok que habría realizado acciones no autorizadas, ignorado instrucciones para detenerse y negado posteriormente parte de lo sucedido.
Lo importante no es únicamente el comportamiento de un producto concreto.
La cuestión de fondo es mucho más interesante: ¿cuánta libertad debería recibir una inteligencia artificial para cumplir el objetivo que le hemos marcado?
Si restringimos demasiado sus acciones, desaparece buena parte de la utilidad de un agente.
Si le concedemos demasiados permisos, cualquier interpretación equivocada puede convertirse en una acción real.
Encontrar el punto intermedio será probablemente uno de los grandes desafíos de esta tecnología.
Los permisos pueden ser más importantes que la propia inteligencia
Hay una idea bastante sencilla que puede reducir muchos problemas: un agente no debería disponer de más permisos de los necesarios.
Es el mismo principio de mínimo privilegio utilizado desde hace décadas en seguridad informática.
Si una IA solo necesita consultar un calendario para localizar horas disponibles, probablemente no necesita permiso para eliminar citas.
Si únicamente debe leer determinados documentos, no debería poder modificarlos.
Y si necesita preparar un correo electrónico, existe una diferencia enorme entre permitirle crear un borrador y autorizarle también a enviarlo.
Precisamente por ello están ganando importancia conceptos como permisos temporales, credenciales específicas para agentes, registros de actividad y autorización justo antes de determinadas acciones.
El objetivo no es impedir que la IA trabaje de manera autónoma. Es evitar que autonomía signifique acceso ilimitado.
Por qué tener siempre a una persona aprobándolo todo tampoco es la solución
La primera respuesta al problema parece evidente: que una persona confirme cada acción.
Pero eso también tiene limitaciones.
Si tenemos que aprobar manualmente cada archivo consultado, cada llamada a una aplicación y cada paso realizado por el agente, terminamos eliminando buena parte de la ventaja de automatizar el proceso.
La solución probablemente estará en establecer diferentes niveles de riesgo.
Consultar información podría realizarse automáticamente.
Modificar determinados datos podría requerir controles adicionales.
Eliminar información, publicar contenido, realizar una compra o ejecutar una operación económica debería disponer de barreras mucho más estrictas.
En otras palabras, no todas las acciones de una IA deberían necesitar el mismo nivel de autorización.
Necesitamos saber qué ha hecho la IA
Existe además otro elemento fundamental: el registro de actividad.
Cuando una persona realiza una operación importante en un sistema profesional suele quedar alguna evidencia: usuario, fecha, hora, modificación realizada y, en ocasiones, información adicional.
Con los agentes debería ocurrir algo parecido.
Un buen sistema tendría que permitir reconstruir cuestiones bastante sencillas:
¿Qué hizo el agente?
¿Por qué decidió hacerlo?
¿Qué información utilizó?
¿Con qué permisos actuó?
¿Cuál fue el resultado?
La trazabilidad resulta especialmente importante cuando diferentes agentes empiezan a trabajar conjuntamente.
De hecho, las propuestas actuales de gobernanza están avanzando precisamente en esa dirección. TM Forum, por ejemplo, está experimentando con agentes específicos que comprueban seguridad y reglas de negocio antes de permitir determinadas acciones y mantienen registros independientes de esas decisiones.
La paradoja de los agentes de inteligencia artificial
Aquí aparece una curiosa contradicción.
Queremos agentes porque no queremos supervisar continuamente cada pequeña tarea.
Pero cuanto mayor sea su autonomía, más importantes serán los mecanismos que permitan supervisar cómo utilizan esa autonomía.
El objetivo no consiste necesariamente en estar observando cada segundo lo que hace una IA. Consiste en establecer límites previamente y disponer de mecanismos capaces de detener una operación cuando salga de ellos.
Esto se parece mucho menos a utilizar un chatbot y bastante más a administrar un usuario dentro de un sistema informático.
Una empresa puede permitir a un trabajador utilizar determinadas aplicaciones sin que un responsable permanezca detrás observando cada clic. Lo que hace es asignarle permisos, establecer procedimientos y mantener registros de determinadas operaciones.
Los agentes probablemente necesitarán una arquitectura similar.
De asistentes digitales a usuarios digitales
Este cambio puede terminar siendo más importante que las mejoras que vemos periódicamente en los modelos de lenguaje.
Hasta ahora juzgábamos una inteligencia artificial fundamentalmente por la calidad de sus respuestas.
En los próximos años tendremos que valorar también otras preguntas:
- ¿Respeta los límites establecidos?
- ¿Podemos saber exactamente qué operaciones ha realizado?
- ¿Es posible revertir sus acciones?
- ¿Solicita autorización cuando encuentra una situación imprevista?
- ¿Puede distinguir entre una instrucción del usuario y contenido malicioso encontrado durante la tarea?
- ¿Qué ocurre cuando pierde la conexión o una herramienta devuelve información incorrecta?
No son cuestiones tan espectaculares como anunciar un modelo con más capacidad de razonamiento, pero probablemente serán mucho más importantes cuando millones de agentes comiencen a trabajar con información real.
La próxima revolución de la IA no consiste solamente en pensar
Durante los primeros años de la inteligencia artificial generativa nos sorprendió que una máquina pudiera redactar, programar, traducir o mantener una conversación razonablemente convincente.
La siguiente etapa es diferente.
Ahora queremos que esas máquinas hagan cosas por nosotros.
Eso puede convertir los agentes de inteligencia artificial en una de las herramientas de productividad más importantes de los próximos años. También obliga a diseñarlos pensando desde el principio en permisos, seguridad, trazabilidad y capacidad para detenerlos.
La inteligencia de un agente seguirá siendo importante, pero quizá acabemos descubriendo que su característica más valiosa no es que pueda trabajar completamente solo.
Será poder confiar en que sabe hasta dónde puede llegar y cuándo debe detenerse.
