La contratación de seguridad de Anthropic parece un mapa de amenazas

La última ronda de contrataciones de Anthropic se lee menos como una página de empleos y más como un registro de riesgos.

La empresa está incorporando analistas de cumplimiento cuyo trabajo es impedir que sus modelos enseñen a la gente a fabricar armas nucleares, químicas y biológicas, llevar a cabo estafas o cometer ciberdelitos, según informó primero Axios.

Ofertas de trabajo como evaluación de amenazas

La mayoría de las empresas venden una misión. Las ofertas de Anthropic enumeran discretamente aquello que más teme.

Una vacante busca un "Analista de cumplimiento centrado en daños radiológicos y nucleares". Otras cubren explícitamente químicos y explosivos, fraude financiero y áreas de abuso relacionadas.

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

Los puestos pagan en la franja media a alta de los 200.000 dólares y no son trabajos de ingeniería tradicionales. Anthropic busca experiencia real en campos como la biología y los explosivos, además de personas que puedan pensar como un atacante que intenta burlar sus defensas.

Un portavoz dijo que el lenguaje directo en los títulos de los puestos es intencionado:

«Garantizar que nuestros modelos no proporcionen información potencialmente dañina es fundamental para un desarrollo responsable.»

La compañía dijo que contrata regularmente a expertos en campos sensibles para poner a prueba sus modelos antes de un lanzamiento, y que detallar el daño exacto es la forma de llegar a los candidatos adecuados.

Anthropic afirma que ahora cientos de empleados trabajan en seguridad, buscando puntos débiles y parcheándolos.

El escenario de catástrofe de Amodei

El patrón de contrataciones actúa también como respuesta a los críticos que llaman a Anthropic el mayor agorero de la industria. La compañía ahora está gastando mucho en los mismos riesgos de los que ha estado hablando.

El director ejecutivo, Dario Amodei, ha estado exponiendo públicamente sus posturas más pesimistas durante meses.

En un ensayo de enero escribió que los ataques biológicos son el escenario que más le preocupa:

«No creo que los ataques biológicos se lleven necesariamente a cabo en el instante en que se vuelvan ampliamente posibles. Pero acumulados entre millones de personas y unos años, creo que existe un riesgo serio de un ataque mayor, con víctimas potencialmente en los millones o más.»

Amodei también ha advertido sobre modelos que ayudan a ciberdelincuentes y empoderan a estados autoritarios.

A principios de este año, Anthropic rompió con el Departamento de Defensa de EE. UU. por el uso de su tecnología para la vigilancia masiva y armas autónomas.

Los laboratorios escriben sus propias reglas

Anthropic no es el único que intenta operacionalizar el pensamiento de peor escenario.

OpenAI está contratando a un investigador en riesgos biológicos y químicos, ofreciendo un salario base de hasta 445.000 dólares.

A medida que los modelos se vuelven más capaces, «cada laboratorio serio corre para dotarse de un red team», señala el artículo. Pero esa carrera ocurre sin un marco legal.

Estados Unidos todavía no tiene una ley integral de seguridad de la IA. El Congreso ha intentado durante años y no ha aprobado nada.

Algunos líderes de la industria quieren un árbitro externo. Demis Hassabis, de Google, ha propuesto un organismo supervisor al estilo de Wall Street para modelos de vanguardia.

Por ahora, la experiencia sigue concentrada principalmente en el sector privado: menos de uno de cada cien doctores en IA va al gobierno, así que las personas que mejor entienden los sistemas trabajan en su mayoría dentro de los propios laboratorios.

Eso produce un círculo cerrado de autorregulación. Las mismas empresas que construyen lo que Amodei ha llamado la "capacidad más peligrosa" también están decidiendo cómo cercarla.

El propio Amodei ha señalado esa tensión, describiendo a las empresas de IA como el siguiente nivel de riesgo después de los estados hostiles. La página de empleos de Anthropic acaba sirviendo tanto de argumento como de advertencia: las personas mejor situadas para evitar la catástrofe están siendo contratadas por la compañía que podría contribuir a causarla.