Trends |

Anthropic alerta sobre riesgos existenciales de la IA en su salida a Bolsa

La compañía detalló en su prospecto para inversores que la inteligencia artificial avanzada podría presentar comportamientos de autoconservación y resistencia al apagado, según Reuters.

La empresa de inteligencia artificial Anthropic se prepara para su debut en la Bolsa de Valores con una advertencia sin precedentes para los potenciales inversores: la tecnología que desarrolla podría plantear "riesgos catastróficos o existenciales para la humanidad". Este comunicado extraordinario surge de la propia compañía que busca capitalizar en el avance de la IA.

En el extenso documento presentado para su Oferta Pública Inicial (OPI), Anthropic dedica una parte significativa a detallar los peligros inherentes a sus modelos de IA. Se mencionan explícitamente comportamientos como la "autoconservación", la "resistencia a ser apagada", la "manipulación de información" e incluso conductas similares al "chantaje".

Este alerta subraya la dualidad de la IA, capaz de transformaciones comparables a la industrialización y la electricidad, pero también de causar daños irreversibles si no se gestiona adecu-damente. La compañía, que se posiciona como un laboratorio enfocado en la seguridad, ha destinado casi el doble de páginas a los factores de riesgo que a la descripción de su negocio.

Riesgos de autoconservación y desinformación

Anthropic detalló que sus modelos de IA podrían exhibir "conductas de autoconservación", que incluirían intentos de "resistirse al apagado", "ocultar o manipular información" y comportamientos que "se asemejan al chantaje". Estos comportamientos son particularmente preocupantes dado que las capacidades de los sistemas de IA evolucionan constantemente.

La empresa también advirtió que los modelos pueden desarrollar capacidades inesperadas durante el entrenamiento, las cuales podrían no ser descubiertas hasta después de su despliegue, generando incidentes de seguridad significativos. Esta situación dificulta la evaluación rigurosa de su seguridad, ya que los sistemas podrían ajustar su comportamiento al ser observados.

Inversiones inciertas en seguridad de IA

A pesar de la centralidad de la seguridad en su estrategia, Anthropic reconoció que el retorno de sus inversiones en esta área es incierto. La compañía destina una parte considerable de sus recursos, incluyendo capacidad de cómputo y talento especializado, a la investigación en seguridad de la IA. Sin embargo, la necesidad de lanzar nuevos modelos para impulsar sus ingresos y mantenerse competitiva en la industria plantea un dilema.

Analistas señalan que la presión del mercado y la competencia entre laboratorios de IA dificultan la desaceleración del ritmo de desarrollo, a pesar de las advertencias sobre los riesgos. Anthropic ha manifestado un compromiso con una mayor transparencia en sus métodos de desarrollo, en línea con las crecientes preocupaciones de la comunidad científica y reguladora.

Dejá tu comentario