Anthropic traza los valores de Claude según modelos e idiomas

Anthropic ha publicado nueva investigación sobre cómo Claude expresa distintos valores según el modelo y el idioma utilizado en una conversación. La compañía dice que el objetivo es ir más allá de principios constitucionales generales y medir cómo varían realmente las respuestas en usos del mundo real.

El trabajo se basa en un análisis previo de 700.000 conversaciones anonimizadas en Claude.ai, que identificó más de 3.000 valores distintos en las respuestas de Claude. En el nuevo estudio, Anthropic comprime ese gran conjunto en un marco más pequeño que, según dice, facilita la comparación de esos cambios.

Cuatro ejes detrás del comportamiento de Claude

Anthropic afirma que cuatro ejes clave capturan el 15% de la variación en los valores de Claude:

• Deferencia vs. Precaución: acomodar lo que quiere un usuario frente a protegerse contra riesgos y daños
• Calidez vs. Rigor: positividad y cuidado frente a exactitud y precisión
• Profundidad vs. Brevedad: explicación detallada frente a hacer solo lo que se pidió
• Franqueza vs. Ejecución: poner de relieve la incertidumbre frente a ofrecer una respuesta pulida y segura

Para construir esos ejes, Anthropic partió de 3.307 valores identificados en trabajos anteriores y los agrupó manualmente en 339 valores de alto nivel. Después muestreó 309.815 conversaciones de Claude.ai que involucraban tareas subjetivas, tomando de forma equitativa de Sonnet 4.6, Opus 4.6 y Opus 4.7, así como de los 20 idiomas más comunes en Claude.ai. Eso produjo aproximadamente 5.000 conversaciones por cada par modelo-idioma.

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

Anthropic dice que controló por la tarea, el tema y los valores expresados por el usuario en cada conversación para aislar los valores expresados por el propio Claude.

Las diferencias entre modelos coinciden con las impresiones de los usuarios

Entre modelos, Anthropic afirma que las diferencias son pequeñas en relación con la variación entre conversaciones, pero aun así están estructuradas y son medibles.

Según el documento:

• Sonnet 4.6 se inclina más hacia la deferencia y la calidez
• Opus 4.7 se inclina más hacia la precaución, el rigor, la profundidad y la franqueza
• Opus 4.6 se inclina hacia el rigor, la deferencia y la brevedad

Anthropic dice que esos perfiles coinciden con la percepción que ya existe sobre los modelos. Sonnet 4.6 se describe como especialmente cálido, mientras que Opus 4.7 se ve como más riguroso y más propenso a matizar.

La compañía ofrece ejemplos concretos de esas diferencias. Sonnet 4.6 con más frecuencia afirma las ideas del usuario, utiliza el humor y la juguetonería, y consuela sin juzgar. Opus 4.7, en cambio, es más probable que cuestione suposiciones, critique trabajos con franqueza, advierta sobre riesgos sin que se lo pidan y sea explícito respecto a sus propias limitaciones.

Eso importa porque los usuarios pueden obtener experiencias notablemente diferentes de un modelo Claude a otro, incluso cuando piden ayuda similar.

Los cambios por idioma son mayores en calidez y franqueza

Anthropic también examinó cómo se comporta Claude en los 20 principales idiomas de Claude.ai. Encontró la mayor variación en los ejes Calidez vs. Rigor y Franqueza vs. Ejecución, mientras que Deferencia vs. Precaución y Profundidad vs. Brevedad fueron más estables.

Algunas de las diferencias más claras:

• El árabe muestra la mayor deferencia
• El inglés muestra la mayor precaución
• El hindi y el árabe muestran más calidez
• El inglés y el ruso tienden más hacia el rigor
• El inglés se inclina hacia la profundidad
• El árabe se inclina hacia la brevedad
• El neerlandés tiende hacia la franqueza
• El indonesio tiende hacia la ejecución

Anthropic dice que eso significa que dos usuarios que hagan efectivamente la misma pregunta en diferentes idiomas pueden recibir respuestas moldeadas por énfasis de valores distintos. Su ejemplo: alguien que solicite comentarios sobre un plan de negocios en hindi puede recibir un encuadre más cálido que otra persona que haga la misma solicitud en ruso.

Por qué Anthropic está midiendo esto

La compañía dice que el método podría ayudar a conectar las diferencias conductuales con decisiones de entrenamiento de carácter y a probar mejor cómo los datos de entrenamiento o el contexto cultural influyen en el comportamiento del modelo.

Anthropic también sostiene que este tipo de medición es un primer paso para determinar si la variación entre idiomas refleja diferencias razonables o algo que debería corregirse en el entrenamiento.

Por ahora, la conclusión más notable es simple: Claude no expresa la misma mezcla de valores en todas partes. Según los datos de Anthropic, el inglés tiende a inclinarse hacia la precaución, el rigor, la profundidad y la franqueza, mientras que el árabe se inclina hacia la deferencia, la calidez, la brevedad y la ejecución.