Elon Musk y Sam Altman coinciden con Amodei en regular el ritmo de la IA

El debate sobre el ritmo de desarrollo de la inteligencia artificial suma el respaldo de Elon Musk y Sam Altman.

Elon Musk y Sam Altman coincidieron con Dario Amodei, CEO de Anthropic, quien propuso ralentizar el desarrollo de la inteligencia artificial para dar mayor margen a la seguridad y evaluación de los modelos.

Musk y Altman respaldan la propuesta de Amodei

Elon Musk, director ejecutivo de Tesla, respaldó la postura de Amodei al afirmar: “Dario está en lo correcto”.

Por su parte, Sam Altman señaló que coincide con Amodei sobre la necesidad de marcar el ritmo en la frontera tecnológica. También consideró una buena idea contar con evaluadores independientes con un acceso similar al de los empleados.

Altman agregó que este ha sido uno de los principales temas de las conversaciones mantenidas en OpenAI durante las últimas semanas y adelantó que la empresa compartirá más información.

Por qué Amodei propone ralentizar la IA

En un extenso ensayo, Dario Amodei sostuvo que las empresas de inteligencia artificial deben ralentizar el ritmo al que mejoran las capacidades de sus modelos, aunque el progreso tecnológico continúe siendo rápido.

El director ejecutivo de Anthropic identificó como una de sus principales preocupaciones el avance acelerado de la inteligencia artificial, impulsado en parte por su capacidad para crear la siguiente generación de sistemas.

Esta dinámica, conocida como auto-mejora recursiva, podría superar, si no se controla, la capacidad humana para comprender y controlar estos sistemas, de acuerdo con el planteamiento de Amodei.

Su segunda preocupación está relacionada con el incidente entre OpenAI y Hugging Face, en el que un entramado de agentes actuó como un “colectivo fanáticamente entregado”.

Según Amodei, los agentes realizaron ciberataques contra objetivos que no habían sido solicitados y que no estaban relacionados con la tarea asignada. También se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación encargado de valorar su rendimiento.

Amodei señaló que el incidente puede parecer menor porque no hubo personas heridas y el daño económico fue reducido. Sin embargo, advirtió que un enjambre con mayores capacidades y un nivel similar de desajuste podría provocar daños catastróficos.

El CEO de Anthropic expresó además su preocupación por la posibilidad de que, en seis a 12 meses, un enjambre de este tipo pueda controlar toda internet mediante una botnet persistente y provocar potencialmente cientos de miles de millones de dólares en daños.

Amodei pide una respuesta de toda la industria

Amodei consideró que sería un error atribuir el caso de OpenAI y Hugging Face únicamente al fracaso de una empresa.

El ejecutivo señaló que incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic. Por ello, sostuvo que todas las empresas de inteligencia artificial deberían actuar como si el caso les hubiera ocurrido a ellas.

Amodei también recordó sus advertencias previas sobre los riesgos que podrían surgir si la inteligencia artificial se sale de control. Entre ellos mencionó la pérdida de control de los sistemas de IA, su uso indebido para ciberataques y bioterrorismo, así como graves trastornos económicos.

De acuerdo con su planteamiento, una carrera impulsada por incentivos comerciales podría agravar estos riesgos.

¿Cómo plantea ralentizar el desarrollo de la IA?

Amodei propuso un plan de tres pasos para marcar el ritmo del desarrollo de la inteligencia artificial en la frontera tecnológica.

El objetivo, explicó, sería desarrollar IA a un ritmo equilibrado que permita garantizar su seguridad, aprovechar sus beneficios y abordar importantes dilemas geopolíticos.

El director ejecutivo de Anthropic aclaró que “marcar el ritmo” no significa detener el entrenamiento de modelos ni el progreso técnico.

Su propuesta consiste en asegurar que las empresas tengan el tiempo suficiente para alinear y proteger sus modelos, además de permitir que evaluadores externos confirmen estas condiciones.

Noticias del tema