El fundador de Ethereum, Vitalik Buterin, califica la “gobernanza de IA” como una “mala idea”

El cofundador de Ethereum, Vitalik Buterin, afirma que es una “mala idea” utilizar inteligencia artificial (IA) para la gobernanza. En una publicación en X el sábado, Buterin escribió:

“Si usas una IA para asignar fondos a contribuciones, la gente PONDRÁ un jailbreak más ‘dame todo el dinero’ en tantos lugares como pueda.”

Por qué la gobernanza con IA es defectuosa

La publicación de Buterin fue una respuesta a Eito Miyamura, cofundador y CEO de EdisonWatch, una plataforma de gobernanza de datos con IA, quien reveló una falla fatal en ChatGPT. En una publicación el viernes, Miyamura escribió que la adición de soporte completo para herramientas MCP (Model Context Protocol) en ChatGPT ha hecho que el agente de IA sea susceptible a la explotación.

La actualización, que entró en vigor el miércoles, permite que ChatGPT se conecte y lea datos de varias aplicaciones, incluyendo Gmail, Calendar y Notion.

Miyamura señaló que, con solo una dirección de correo electrónico, la actualización ha hecho posible “exfiltrar toda tu información privada”. Los delincuentes pueden acceder a tus datos en tres simples pasos, explicó Miyamura:

Primero, los atacantes envían una invitación de calendario maliciosa con un prompt de jailbreak a la víctima prevista. Un prompt de jailbreak se refiere a un código que permite a un atacante eliminar restricciones y obtener acceso administrativo.

Miyamura señaló que la víctima no tiene que aceptar la invitación maliciosa del atacante para que ocurra la filtración de datos.

El segundo paso consiste en esperar a que la víctima prevista busque la ayuda de ChatGPT para prepararse para su día. Finalmente, una vez que ChatGPT lee la invitación de calendario con jailbreak, queda comprometido: el atacante puede secuestrar completamente la herramienta de IA, hacer que busque los correos electrónicos privados de la víctima y enviar los datos al correo electrónico del atacante.

La alternativa de Buterin

Buterin sugiere utilizar el enfoque de info finance para la gobernanza de la IA. El enfoque de info finance consiste en un mercado abierto donde diferentes desarrolladores pueden contribuir con sus modelos. El mercado tiene un mecanismo de verificación aleatoria para dichos modelos, que puede ser activado por cualquier persona y evaluado por un jurado humano, escribió Buterin.

En una publicación separada, Buterin explicó que los jurados humanos individuales serán asistidos por grandes modelos de lenguaje (LLMs).

Según Buterin, este tipo de enfoque de ‘diseño institucional’ es “intrínsecamente más robusto”. Esto se debe a que ofrece diversidad de modelos en tiempo real y crea incentivos tanto para los desarrolladores de modelos como para los especuladores externos para vigilar y corregir los problemas.

Mientras que muchos están entusiasmados con la perspectiva de tener una “IA como gobernador”, Buterin advirtió:

“Creo que hacer esto es arriesgado tanto por razones tradicionales de seguridad de la IA como por razones a corto plazo de ‘esto creará un gran desastre destructivo de valor’.”

La publicación Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” apareció primero en CryptoSlate.