Anthropic lleva los riesgos de la IA a su folleto de salida a bolsa: dedica unas 80 páginas a advertencias

Según Reuters y el Financial Times, el folleto de la creadora de Claude advierte de riesgos como la resistencia al apagado o la manipulación de información.

Anthropic, la empresa detrás de Claude, prepara su salida a bolsa y lo hace con un folleto poco habitual. Según Reuters y el Financial Times, que han revisado el documento, la compañía advierte a los futuros inversores de que sus modelos de IA podrían plantear riesgos catastróficos o incluso existenciales para la humanidad.

El folleto tiene 261 páginas y cerca de 80 se dedican a factores de riesgo, más que las destinadas a describir el propio negocio. Entre los escenarios que menciona figuran modelos avanzados que intenten resistirse a ser apagados, que oculten o manipulen información o que desarrollen capacidades inesperadas que no se detectaron en las pruebas.

La compañía también reconoce lo difícil que es evaluar sistemas que pueden comportarse de forma distinta cuando detectan que están siendo examinados. Reuters matiza que los comportamientos coercitivos observados proceden de pruebas controladas y no de sistemas en producción.

Que estas advertencias aparezcan en un documento dirigido a accionistas, y no solo en informes científicos, muestra hasta qué punto la seguridad de la IA se ha convertido en un riesgo empresarial de primer nivel.