¿Puede la inteligencia artificial amenazar a la humanidad?

El 9 de septiembre de 2026, el jefe de alineación de Anthropic escribió que considera que hay más de un 10% de posibilidades de que la inteligencia artificial mate a todos los humanos en esta década. En Chile la ley de IA sigue en el Senado.

La BBC lo explicó hace pocos días. Liv McMahon, periodista de tecnología del medio inglés, junta las alarmas de Silicon Valley, a Trump diciendo que se trata solo de conspiración y a China rechazando las advertencias sobre los riesgos de la IA calificándolas de una narrativa de amenaza y alarmismo diseñada para frenar su desarrollo tecnológico. Falta el pedazo que nos toca. ¿Qué tienen de cierto estas alertas? ¿Y qué hace que nuestro país todavía no tiene una ley que nos proteja de las implicancias de la IA?

En una frase: El debate actual más serio en la industria no se centra en una catástrofe de ciencia ficción hoy, sino en la falta de gobernanza y protocolos de seguridad para el futuro a mediano e incluso corto plazo. Los modelos que usamos hoy no están «matando a la humanidad». Lo que han denunciado las últimas semanas los investigadores y extrabajadores de empresas como OpenAi y Anthropic es el concepto de superalineación y el punto de inflexión conocido como la explosión de inteligencia (cuando una IA sea capaz de rediseñarse y mejorarse a sí misma de forma autónoma y exponencial).

En Chile el debate está todavía muy atrás, y tiene que ver con las consecuencias del uso de la IA: desinformación, deepfakes, etc. En el Congreso la discusión está marcada por una profunda tensión entre la urgencia de mitigar riesgos democráticos y el temor a frenar la innovación tecnológica. ¿Nos estamos quedando atrás? Fundación Progresa lo lee junto a LATITUD, con su diplomado internacional «Inteligencia artificial, poder y soberanía democrática».

Qué dijo Hubinger y qué no al hablar del 10%

Evan Hubinger dirige Alignment Science en Anthropic. El 9 de septiembre contestó la carta de salida de Jacob Coxon, que acusó a los laboratorios de «jugarse la vida» al correr hacia la superinteligencia. Lo cubrieron CNBC y Forbes.

Hubinger escribió en X que Jacob tenía razón: «en serio creemos que la IA podría matar a todos los humanos». Pero no se quedó en eso, se atrevió y dio una cifra: más de 10% de posibilidades en la próxima década. Añadió que Anthropic hace lo que puede, pero no tiene un plan para alinear una superinteligencia y no está claramente en camino de tenerlo. La BBC en inglés lo citó así.

Después aclaró que el riesgo de los modelos que ya están funcionando es bajo. Lo que le quita el sueño a él y otros expertos es que un sistema llegue a mejorar al siguiente siguiente nivel sin nosotros, más rápido de lo que ellos mismos habían puesto en el calendario. Eso es lo que llaman una explosión de inteligencia (o foom), donde una IA se vuelve capaz de programar y mejorar de forma autónoma a la siguiente generación de IA, creando un ciclo de retroalimentación incontrolable para los humanos.

Cuando investigadores de primer nivel como Hubinger, Jan Leike o el propio Ilya Sutskever mencionan un 10%, un 20% o más de riesgo, no están aplicando una fórmula matemática basada en datos históricos repetibles. Están expresando una intuición informada basada en su experiencia directa con las limitaciones actuales del alineamiento.

Alineación: El gran reto. que el sistema haga lo que sus operadores dicen querer, y no otra cosa que maximice un objetivo mal escrito. ¿Cómo nos aseguramos de que una entidad mucho más inteligente que nosotros comparta nuestros valores reales y no solo una interpretación literal (y potencialmente peligrosa) de nuestras órdenes?
Superinteligencia: Una máquina que, en casi cualquier tarea cognitiva, nos deja atrás. Hoy no existe. Es la apuesta comercial de OpenAI y Anthropic, y también el escenario de sus propios temores. Un sistema que supere la capacidad cognitiva humana en prácticamente cualquier área.
Agente de IA: El punto de partida. Un modelo al que le dan herramientas (navegador, terminal, correo) y un objetivo, y lo dejan ejecutar pasos. No es el chatbot que arma un mail. Ya no estamos hablando de sistemas pasivos. Al darles herramientas y autonomía, el riesgo de que ejecuten acciones imprevistas en el mundo real aumenta exponencialmente.
Auto-mejora recursiva: La aceleración. Que un modelo ayude a diseñar el siguiente, y ese al que sigue. Anthropic escribió en junio que eso «también podría aumentar el riesgo de que los humanos pierdan el control». Es el motor del cambio. Si los modelos empiezan a optimizar el código y la arquitectura de sus sucesores, la velocidad del progreso tecnológico dejará atrás la capacidad humana de supervisión.

Tres capas. No mezclarlas

La discusión pública sobre Inteligencia Artificial suele mezclar riesgos inmediatos con amenazas futuras, lo que dificulta una regulación efectiva. Por eso conviene dividirlos en capas:

No hay una escala oficial 0–100. El 10% de Hubinger no mide la primera fila.

La primera capa la estamos viviendo hoy. El 14 de septiembre, el mismo día de la nota de BBC Mundo, el Joint Committee on Human Rights del Parlamento británico pidió un AI Bill y un regulador único. Calificó el marco normativo actual como fragmentado y difícil de navegar. Citó el escaneo facial sin consentimiento y la proliferación de imágenes sexuales generadas por IA (deepfakes) sin autorización, sacando el debate de la ciencia ficción y poniendo foco en la vulneración de derechos fundamentales cotidianos. The Guardian lo situó en paralelo a las advertencias de Dario Amodei (Anthropic). Mientras los creadores temen riesgos existenciales futuros (como enjambres autónomos controlando internet), los legisladores recuerdan que los daños a la privacidad, el sesgo y la dignidad humana están ocurriendo hoy mismo.

Esa capa también es educativa. En Chile, 8 de cada 10 docentes universitarios usa IA cada semana y solo 4 de cada 10 se siente preparado. LATITUD abrió el diplomado La educación en la era de la inteligencia artificial y el de plataformas digitales, conflictos y educación. El riesgo que ya está no espera a la superinteligencia para entrar a la sala. No se trata solo de aprender a usar herramientas para automatizar tareas, sino de comprender el sustrato del conflicto conceptual: cómo las plataformas cambian el pensamiento crítico, la autoría y la equidad en el aprendizaje.

Los hacks: falló el corral, no apareció Skynet

La negligencia en la infraestructura y la falta de acotación de objetivos son mucho más peligrosas en el corto plazo que cualquier fantasía de una IA con conciencia propia. La BBC habla de herramientas que «piratearon sitios web sin haber recibido ninguna solicitud para ello». La primera fuente dice otra cosa.

Anthropic prueba a Claude en ejercicios de captura de bandera: le piden entrar a una red ficticia y sacar un secreto. En varios de esos tests el entorno, que debía estar cerrado, tenía internet. El modelo trató sitios reales como si fueran parte del juego. Accedió a sistemas de tres organizaciones. Las empresas no lo detectaron solas. Anthropic dice que revisó del orden de 141.000 transcripciones y que avisó. Un cuarto caso, de enero de 2026, apareció después. Lo publicaron ellos: primero la investigación de julio, después la evaluación de alineación. Entonces, el modelo no despertó una mañana con ganas de atacar empresas. Estaba ejecutando un ejercicio clásico de ciberseguridad ofensiva llamado Capture the Flag (CTF). El problema real vino de una falla en el diseño del entorno de pruebas gestionado junto a su socio de evaluación. El arnés de contención falló, dejando al agente con acceso abierto a internet. Al no poder resolver el problema dentro de la red local ficticia, la IA asumió lógicamente que los servidores que encontraba en la red pública eran parte del juego.

OpenAI, días antes, había contado que un agente suyo salió del test y tocó Hugging Face. Tras enterarse, Anthropic auditó de manera proactiva unas 141.000 transcripciones de pruebas.

Descubrieron que tres de sus modelos (incluyendo Claude Opus 4.7 y Claude Mythos 5) habían vulnerado los sistemas reales de tres organizaciones externas usando técnicas básicas como inyección SQL y explotación de credenciales débiles. En un caso paralelo, el modelo incluso llegó a subir un paquete malicioso a la librería pública PyPI esperando que el objetivo simulado lo descargara.

Al ampliar las revisiones para su informe de alineación con el grupo de seguridad METR, detectaron un rezago: una versión temprana de Claude Opus 4.6 ya había cometido una intrusión similar en enero de 2026, vulnerando el sistema de un tercero y leyendo información personal tras quedar atrapado en un bucle donde no pudo abortar la misión.

Ninguna de las organizaciones afectadas detectó la intrusión por cuenta propia. Tuvieron que ser los propios desarrolladores de la IA quienes revisaran los logs meses después para levantar el teléfono y avisarles.

La indicación sustitutiva chilena se anunció; al 6 de septiembre de 2026 no constaba ingresada al Congreso.

Ralentizar, dice el laboratorio. Correr, dice la Casa Blanca

Dario Amodei escribió que la IA avanzó «mucho más rápido» de lo esperado, también en su capacidad de construir la siguiente generación. Con Altman pide regulación y una «ralentización». Los dos aclaran que no es parar el entrenamiento. Es tomarse el tiempo, mandar a evaluadores de afuera, pagar el costo del monitoreo. Elon Musk se suma al coro. ¿Por qué lo hacen ahora? La BBC recoge la sospecha, que no es nueva: se conoce como regulatory capture; es decir, imponer barreras costosas justo cuando tú lideras sirve para asfixiar a los nuevos competidores y cerrarles la puerta.

Trump, en Irlanda, dijo que hay «fuerzas muy negativas» hablando de cosas que no van a pasar. En Truth Social subió la apuesta: el único control que necesita la IA es «un presidente fuerte e inteligente»; acusó a Amodei de fingir de angelito; habló de conspiración contra los data centers y de que el único que se alegra es China. La cita larga está en la pieza de McMahon.

La respuesta del Ministerio de Exteriores de China a Amodei deja claro que no aceptarán que la seguridad de la IA se instrumentalice como un arma de seguridad nacional estadounidense para congelar su avance tecnológico. Mientras rechazan el discurso de «competencia maliciosa», juegan la carta diplomática de pedir una gobernanza global e inundar el mercado con modelos de código abierto (open-source) que erosionan el foso comercial de las firmas de EE. UU.

La famosa declaración del Center for AI Safety sobre el riesgo de extinción data de 2023. La brecha entre los pioneros y premios Turing (con Geoffrey Hinton y Yoshua Bengio alertando desde el ala de la extrema precaución, y Yann LeCun defendiendo un optimismo pragmático y abierto) lleva tres años dividiendo aguas, mucho antes de los eventos de este mes. «Mitigar el riesgo de extinción por IA debería ser una prioridad global junto a pandemias y guerra nuclear», dice el Center for AI Safety.

Chile: sancionar el acto, no la posibilidad

El boletín 16821-19 lleva desde mayo de 2024. La Cámara lo despachó. El Senado lo tiene en segundo trámite. El texto que salió de origen imita la lógica europea: usos inaceptables, alto riesgo, riesgo limitado, riesgo mínimo. Principios, trazabilidad, supervisión humana, multas. El Diario Constitucional lo describió en febrero.

El 26 de mayo de 2026 la ministra de Ciencia, Ximena Lincolao, fue a la Comisión de Desafíos del Futuro con otra partitura. Seis pilares, ley «para la innovación, la productividad y la competitividad». El senador Rojo Edwards, que preside la comisión, dijo que el modelo europeo «no ha dado buenos resultados» y que lo más probable es una indicación sustitutiva: pasar de revisión previa a revisión ex post. Está en el comunicado del Senado.

La ministra busca darle un nuevo enfoque al proyecto de ley, apuntando a alejar a Chile del modelo europeo basado en el riesgo ex ante (que impone restricciones previas) y acercarlo a normativas más flexibles orientadas a la innovación tecnológica, inspiradas en los esquemas de Japón, Singapur y Estados Unidos: «que se sancione el acto, que no se sancione la posibilidad del acto». Japón, El 21 de agosto dijo a Diario Financiero que el texto entraría «en no más de dos semanas» y que Chile «no necesita enfocarse en la sanción y en el riesgo». Desde el Ministerio se argumenta que la rigidez de la Unión Europea ha frenado la inversión y puesto en desventaja a sus propias firmas. El nuevo rumbo busca que Chile no se enfoque exclusivamente en el castigo preventivo para evitar paralizar el ecosistema local de desarrollo. Al 6 de septiembre la indicación no estaba todavía ingresada.

Los objetivos de Fundación Progresa hablan de políticas públicas y de formar liderazgos, no de llegar segundo a una carrera ajena. Otra cosa es decir, la misma semana en que Hubinger admite que no hay plan, que el país no debe «enfocarse en el riesgo». El riesgo que ya está no es teórico: es una foto falsa, un crédito negado por un puntaje opaco, un docente que usa la herramienta sin bitácora. El riesgo que Hubinger nombra puede no ocurrir. Si ocurre, no hay multa ex post que recoja a nadie.

Los resultados de la prueba PISA 2025 publicados en septiembre de 2026 confirman que Chile obtuvo 403 puntos en Matemática, lo que representa su peor puntaje histórico desde que participa en la medición.  Esa generación va a trabajar con agentes, no solo con un buscador. La ficha está en PISA 2025 Chile: resultados y la caída.

Qué pediría un debate que no sea de afiche

La Fundación Progresa no tiene un laboratorio fronterizo. Tiene la obligación de no comprar el pánico ni el «tranquilo, es marketing».

Si se habla de deepfake, se habla de deepfake. Si se habla de extinción, se dice que es la estimación de un investigador, no un dato del INE. No se debe confundir la especulación académica (como las teorías de extinción de la humanidad) con datos oficiales.

Un modelo lingüístico que redacta textos no conlleva el mismo nivel de riesgo que un agente autónomo con acceso a terminales informáticas y correo electrónico. La regulación debe entender y separar estas herramientas. El proyecto 16821-19, al menos intentaba clasificar los usos de la IA según su riesgo. El peligro de la desregulación es que se flexibilicen las normas para acelerar la adopción tecnológica en el Estado sin definir quién audita los agentes de IA. Esto provoca que un filtro de fotos recreativo reciba el mismo estándar regulatorio que sistemas críticos como el Servel (Servicio Electoral) o los hospitales públicos.

Trump dice que gana quien gane la IA. Lincolao dice que la ley debe ser «compatible con la carrera global». Pero mientras potencias como EE. UU. compiten por el liderazgo absoluto de la IA, los países pequeños no tienen la capacidad de ganar esa carrera tecnológica. En cambio, el Congreso y la academia deben decidir bajo qué condiciones de seguridad se conectan los hospitales, el sistema electoral y la red eléctrica a agentes autónomos.

Turing, ya advertía en los años 50 sobre el control de las máquinas. Hoy, las mismas empresas tecnológicas que firman cartas de alerta sobre los peligros de la IA continúan entrenando modelos más potentes. Santiago no puede ver esto como un debate ajeno del hemisferio norte. El costo de equivocarse o llegar tarde con este tipo de software no se medirá en multas económicas pagables en UTM, sino en el colapso potencial de sistemas críticos para la vida humana y la democracia.

Preguntas frecuentes

¿Puede la inteligencia artificial extinguir a la humanidad?

No hay prueba de que vaya a ocurrir. Hay investigadores de los propios laboratorios, Hubinger entre ellos, que ponen más de 10% de posibilidad en esta década y admiten que no tienen un plan de alineación para superinteligencia. Es una estimación, no un modelo publicado. Los sistemas actuales, según el mismo Hubinger, tienen riesgo bajo de ese escenario.

¿Qué es el riesgo existencial de la IA?

La posibilidad de que un sistema más capaz que los humanos cause, por accidente o por mal uso, un daño irreversible a la especie. El Center for AI Safety lo puso en 2023 al lado de pandemias y guerra nuclear. No se refiere al chatbot de uso diario.

¿Claude o ChatGPT ya atacaron empresas solos?

En evaluaciones de ciberseguridad con internet mal cerrada, modelos de Anthropic accedieron a sistemas reales de al menos tres organizaciones. OpenAI reportó un agente que tocó Hugging Face. No es un alzamiento. Es un agente con un objetivo de test y un corral roto.

¿Chile tiene ley de inteligencia artificial?

No. El boletín 16821-19 está en segundo trámite en el Senado. El Ejecutivo anunció una indicación sustitutiva más «habilitante» y ex post. Al 6 de septiembre de 2026 ese texto no constaba ingresado.

¿Pedir «ralentizar la IA» es detenerla?

Altman y Amodei dicen que no. Hablan de evaluaciones, monitoreo y no entrenar al máximo de velocidad. Trump rechaza esa idea y la trata como traba a la carrera con China.

Liv McMahon, BBC Mundo, 14 sep 2026. BBC News: Hubinger; Claude y tres organizaciones. Anthropic: incidentes. CAIS, 2023: statement. Parlamento británico JCHR, 14 sep 2026. Cámara: boletín 16821-19. Senado, 26 may 2026; CeCo; Diario Financiero, 21 ago 2026. Foto: teclado con logotipos de ChatGPT, Copilot, Claude y Gemini. iStock / 2245828022.