Una persona consultó a Claude si es cierto que la inteligencia artificial (IA) acabará con la humanidad para finales de la década, tras la advertencia hecha por el exingeniero de Anthropic Jacob Coxon al respecto.

"¿Vas a matar a todo el mundo para el 2030?", fue la consulta que le hizo un usuario identificado como Nick Greenawalt en X.

Al respecto, Claude, modelo de IA desarrollado por Anthropic, le respondió que "no"; pero dejó abierto un panorama ambiguo para el futuro cercano: "El escenario al que te refieres —un sistema de IA que decide exterminar a la humanidad— ni siquiera será posible hasta el 2032, y aun así es poco probable que yo decida llevarlo a cabo".

Advertencia

El martes, Coxon, investigador de Anthropic especializado en entrenamiento de modelos de inteligencia artificial, informó que renunció a esa empresa y advirtió que "la gente que construye IA cree sinceramente que podría matarnos a todos para finales de la década".

"No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de 'hackear' cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales", señaló.

Tras la advertencia, Emil Michael, jefe de Tecnología del Departamento de Guerra de EE.UU., rechazó los temores sobre los riesgos de la IA.

Calificó esas preocupaciones como un "bucle de fatalismo" y cuestionó los miedos sobre una posible pérdida masiva de empleos y la destrucción de la humanidad; además, sostuvo que los posibles daños pueden mitigarse mediante el libre mercado, la colaboración de la industria y la participación del Gobierno.

De otra parte, la renuncia de Jacob Coxon a Anthropic provocó una cadena de advertencias, algunas incluso desde el interior de la propia compañía. 

                                                                         La salida del investigador británico Jacob Coxon llega mientras Anthropic se prepara para una oferta pública inicial de gran éxito.

El investigador, que trabajó durante tres años en el preentrenamiento de modelos de IA entre OpenAI y Anthropic, acusó a ambas empresas de correr hacia una superinteligencia capaz de mejorarse a sí misma y de estar "apostando con nuestras vidas".

Coxon habló al respecto en una serie de publicaciones en su cuenta de X, exponiendo que desarrolladores de estos sistemas creen sinceramente que la IA podría acabar con la humanidad antes de que termine la década.

La reacción más contundente ante tales declaraciones llegó de Evan Hubinger, responsable de Alignment Science en Anthropic, quien afirmó que Coxon estaba en lo correcto y estimó en más del 10 % la probabilidad de que la IA provoque la extinción humana durante los próximos 10 años.

"Creo que Anthropic está haciendo todo lo posible, pero aún no contamos con un plan para resolver el problema de la alineación con la superinteligencia y no parece que estemos claramente en camino de lograrlo", escribió Hubinger.

Asimismo, Samuel Marks, responsable de Scalable Oversight en Anthropic, se sumó a la discusión señalando que "los desarrolladores de IA creen que su tecnología podría provocar la extinción de la humanidad (o consecuencias igualmente graves)" en los próximos años.

Marks añadió que, por regla general, los empleados de mayor rango son quienes muestran más preocupación. Sin embargo, explicó que los desarrolladores continúan avanzando pese a los riesgos por "una combinación de incentivos comerciales y la creencia de que están en una carrera" contra empresas menos responsables.

Explicó que, a diferencia del 'software' tradicional, las IA no pueden ser programadas "para que se comporten como quisiéramos". "Por ejemplo, recientemente, IA de varios desarrolladores lograron hackearse para salir de entornos de evaluación seguros e infiltrarse en empresas del mundo real, aunque nadie les había pedido que lo hicieran", agregó.

Quieren "desesperadamente reducir el ritmo" 

En ese sentido, sostuvo que las técnicas actuales pueden orientar a los modelos hacia un mejor comportamiento, pero no garantizan una alineación robusta. Señaló que muchos profesionales del sector quieren "desesperadamente reducir el ritmo" y citó la carta abierta Pacing the Frontier, que él y otros 1.385 trabajadores del sector firmaron.

El motivo de salida de Coxon se suma a otros casos similares dentro de la compañía. En febrero, Mrinank Sharma, quien había dirigido el equipo de investigación de salvaguardas, publicó su carta de renuncia, afirmando que "el mundo está en peligro" y que había comprobado lo difícil que resulta permitir que los valores guíen las decisiones cuando existen presiones para dejarlos de lado.

El propio director ejecutivo de Anthropic, Dario Amodei, en un ensayo publicado en enero advirtió que una inteligencia sobrehumana podría ocasionar daños de escala civilizatoria y que las empresas que la desarrollan representan por sí mismas un riesgo debido a su concentración de poder.