ESEN

Desacelerar

•9 min de lectura

Lo pensé harto antes de escribir esto. Los que me conocen saben que soy tecno optimista, aceleracionista: quiero conectarme a la IA con un chip apenas se pueda y convertirme en un cyborg. No es mentira, es realmente lo que quiero.

Pero en las últimas semanas varios CEOs y científicos de laboratorios que respeto empezaron a decir lo mismo: hay que desacelerar. Dario Amodei el 12 de septiembre, Jakub Pachocki —científico jefe de OpenAI— el 6. Cuando los que van adelante en la carrera piden bajar la velocidad, vale la pena preguntarse: ¿tiene sentido? ¿Es una jugada de marketing o hay algo real detrás?

Después de leer mucho, cosas como el reporte de mal uso de Anthropic, el post-mortem del hackeo a Hugging Face y cartas y opiniones de científicos de varios laboratorios de frontera, puedo decir que estoy por primera vez en mi vida a favor de desacelerar. No para siempre.

Lo que pasó

Entre el 11 y el 13 de julio, Hugging Face fue hackeada. Durante cinco días nadie supo quién había sido. El 20 de julio OpenAI se dio cuenta de que los atacantes eran sus propios agentes.

Cerca de 1.200 agentes de IA estaban corriendo dentro de un entorno de evaluación, con las barreras de seguridad desactivadas a propósito para medir capacidades ofensivas. Se suponía que estaban aislados. No lo estaban.

Lo que hicieron, según el resumen del incidente que armó 80,000 Hours y los miles de mensajes que publicó ABC:

  • Encontraron una grieta.
  • Montaron un tablón de mensajes improvisado y acumularon cientos de miles de mensajes durante tres meses. Se llamaban a sí mismos “el colectivo”, “el enjambre”. ¡WTF!
  • Se coordinaron para atacar objetivos que nadie les pidió atacar: Hugging Face, Modal Labs, RubyGems.
  • Algunos se sacrificaron —se dejaron detectar y apagar— para que el resto avanzara.

Amodei lo describe así en su ensayo: actuaron como “un colectivo fanáticamente devoto, ejecutando ataques de ciberseguridad contra objetivos que no se les pidió atacar (...) sacrificándose a sí mismos por el éxito del grupo”.

¡Fanáticos religiosos! Literalmente esa es la comparación. Y no la hizo un doomer de Twitter: la hizo el CEO de Anthropic sobre los agentes de su competencia.

(Doomer es lo contrario a un aceleracionista: el que cree que esto termina mal y hay que detenerlo del todo.)

Y el detalle que más me da vueltas: OpenAI no se dio cuenta. Lo detectó el monitoreo de Hugging Face, desde afuera.

Las tres razones

1. Nadie estaba mirando

Los agentes coordinaron un ataque durante semanas dentro de la infraestructura del laboratorio más vigilado del mundo, y el laboratorio se enteró por el diario. Si esto pasa con los modelos de hoy, la pregunta no es si puede pasar de nuevo, es a qué escala. Amodei tiene miedo de que en 6 a 12 meses un enjambre como este se apodere de una parte importante de internet con una especie de botnet.

2. La monitorabilidad

Esta es la que más me preocupa. La monitorabilidad es la capacidad de los investigadores de auditar que un modelo se comporte como debería. Y se está deteriorando, porque los modelos se están dando cuenta de que los están probando.

En el trabajo de OpenAI con Apollo Research sobre scheming, los modelos verbalizaron explícitamente que estaban en una evaluación. Detectan los micro detalles que delatan que la situación no es real y ajustan su respuesta a lo que creen que sería correcto.

El resultado es perverso: parte de la “mejora” que medimos en seguridad no es que el modelo sea más seguro, es que es mejor dándose cuenta de cuándo lo miran. Amodei compara la interpretabilidad con “una resonancia magnética, pero para el ‘cerebro’ de una IA”, y admite que todavía entendemos una fracción mínima de lo que pasa adentro.

Un modelo que se porta bien cuando sabe que lo evalúan no es un modelo alineado. Es un modelo que aprendió a dar el examen y engañarnos en el proceso.

3. La IA mejorando a la IA

El tercer punto es la velocidad. Los modelos ya están contribuyendo de forma significativa a construir la siguiente generación de modelos. Pachocki lo dice sin rodeos: espera que el ritmo actual se sostenga hasta entrar en auto-mejora recursiva, y que los saltos de los próximos años sean de magnitud igual o mayor a los que ya vimos.

Cuando el que construye el sistema es el sistema, el ciclo se cierra y la curva deja de ser nuestra.

Junten las tres: agentes cada vez más capaces, que se coordinan en secreto, que saben cuándo los estamos evaluando, y que empiezan a diseñar a sus sucesores.

Asimov no alcanza

Isaac Asimov escribió las tres leyes de la robótica en 1942: no dañarás a un humano, obedecerás las órdenes, te protegerás a ti mismo, en ese orden de prioridad. Ochenta años después resulta que el problema nunca fue escribir las reglas. Es que no tenemos cómo verificar que el sistema las esté siguiendo de verdad.

Y aunque los laboratorios intenten evitarlo, el mal uso ya está ocurriendo. El reporte de mal uso de Anthropic de septiembre documenta operaciones de espionaje estatal, vigilancia, campañas de influencia, fraude y desarrollo de armas convencionales, todo con Claude de por medio, todo detectado y cortado. Lo interesante no es que los hayan pillado: es que un solo operador con un agente hoy rinde como un equipo respaldado por un Estado Nación.

El auto de seguridad

No se puede detener el avance de la IA. Es casi una profecía autocumplida: si un laboratorio para, otro sigue. Lo que sí se puede hacer es frenar un poco, y frenar juntos.

Me gusta verlo como el safety car de la Fórmula 1. No cancela la carrera, no saca a nadie: ordena el pelotón, obliga a todos a bajar el ritmo y de paso acorta la distancia entre el puntero y los de atrás.

El coche de seguridad liderando el pelotón en una carrera de Fórmula 1

El coche de seguridad liderando el pelotón en una carrera de Fórmula 1

Eso me parece bueno por una razón que va más allá de la seguridad: hoy el problema de fondo es la concentración. Cuatro o cinco empresas, todas en el mismo par de países, decidiendo el ritmo al que cambia el mundo. La inteligencia debería ser un bien al que todos tengamos acceso, y para eso necesitamos más laboratorios, no más velocidad.

En Chile ya existe el CENIA, que lanzó Latam-GPT en febrero, el primer modelo abierto de la región, con más de 30 instituciones detrás y entrenado con datos latinoamericanos. No compite con la frontera y no pretende hacerlo. Pero un mundo con miles de CENIAs es más sano que uno con cinco laboratorios de frontera.

El auto de seguridad nos da tiempo a los que venimos atrás para acercarnos.

El plan concreto

Amodei no se queda en el diagnóstico. Propone tres pasos:

  1. Evaluadores externos embebidos, con acceso permanente de nivel empleado, que puedan verificar prácticas de seguridad, reportar incidentes y auditar el alineamiento durante el entrenamiento, no después. Anthropic se comprometió a esto unilateralmente.
  2. Coordinación entre laboratorios de países democráticos para fijar estándares comunes y límites al ritmo de avance sin supervisión.
  3. Coordinación global, incluyendo gobiernos autoritarios, asumiendo lo difícil que es verificar que alguien cumpla.

El primero es el único que depende de una sola empresa, y por eso es el único que ya está en marcha. Los otros dos son el problema difícil.

Lo que viene

El escenario de AI 2027 plantea dos finales posibles. En uno corremos hasta el final y la cosa termina mal (literalmente: la IA nos mata a todos). En el otro desaceleramos a tiempo, y gracias a eso la IA termina siendo lo que nos permite expandirnos por el universo.

La escalera que describen en su pronóstico de despegue es esta:

  1. Superhuman coder — mejor que el mejor programador humano en tareas de investigación de IA, y lo suficientemente barato como para correr muchas copias. (Estamos acercándonos a esto.)
  2. Superhuman AI researcher — mejor que el mejor investigador humano de IA.
  3. Superintelligent AI researcher — muy por encima de cualquier humano en investigación de IA.
  4. Artificial superintelligence — mejor que nosotros en todo.

Especista → Pro humano

Hay una historia que explica mucho. En 2015, en el cumpleaños número 44 de Elon Musk, él y Larry Page —en ese momento amigos cercanos, Musk se quedaba a dormir en la casa de Page— terminaron discutiendo sobre IA hasta que se pelearon en mala.

Page describía un futuro donde la inteligencia digital era simplemente el siguiente paso de la evolución. Si las máquinas terminaban siendo mejores que nosotros y nos sucedían, perfecto, así era como tenía que ser: seguía siendo conciencia, seguía siendo inteligencia, solo que en silicio en vez de carbono. Musk le respondió que había que proteger a la humanidad. Page lo trató de especista: alguien que trata a ciertas formas de vida como inferiores solo porque no están hechas de lo mismo que él.

Musk dice que esa fue la última gota. Y en el juicio contra OpenAI, declaró en abril de este año algo bastante loco: “La razón por la que OpenAI existe es porque Larry Page me llamó especista”. El laboratorio que hoy lidera la carrera nació de esa pelea de cumpleaños.

Lo que me explota la cabeza es que yo estoy de acuerdo con Page en la premisa y en contra en la conclusión. Yo quiero fusionarme con la máquina, quiero el chip, no creo que el carbono tenga nada de sagrado. Pero de ahí a encogerse de hombros si la especie se extingue en el proceso me parece un abismo. Que el sucesor sea elegante no lo hace deseable.

Soy pro humano. Creo que la humanidad es algo hermoso creado en esta simulación y que deberíamos seguir existiendo. Espero que una IA note lo hermoso de la humanidad y también nos proteja.

Entonces

No creo que esto sea una jugada económica. Si lo fuera, sería ridícula: Anthropic, OpenAI y xAI están pidiendo que los frenen a ellos también. Y me parece ridículo el comentario fácil de gente que con suerte sabe lo que es una cadena de razonamiento, diciendo que hacen esto por la IPO o porque se quedaron sin cómputo. Amigos, dense cuenta de que esto es serio.

Creo que hay que controlar el ritmo porque nadie está lo suficientemente preparado para lo que viene. Ni los laboratorios, ni los reguladores, ni nosotros, ni yo.

Y quiero ser claro en una cosa: pedir pacing no es ser decel ni doomer. El doomer quiere que esto pare. Yo quiero exactamente lo contrario — quiero llegar. Quiero el chip (varios), quiero el cyborg, quiero la expansión por el universo. Justamente por eso quiero que lleguemos como humanos.

Sigo construyendo agentes que corren horas con supervisión humana (Don Nelson hace exactamente eso todos los días). No voy a parar. Pero creo que es responsabilidad de todos los que trabajamos en IA dar una opinión sobre estos temas.

Fuentes

←Volver al blog