Por qué los expertos sacan más partido al mismo LLM

Los LLM pueden dar a casi cualquier persona un primer borrador aceptable de CSS, código, matemáticas o textos profesionales. Pero quienes más provecho sacan de ellos no son necesariamente los mejores en redactar prompts, según el artículo «Los LLM recompensan la experiencia.» Son las personas que entienden el tema lo suficiente como para dirigir, desafiar y refinar la salida del modelo.

Por qué el conocimiento del dominio cambia el resultado

Antes de los grandes modelos de lenguaje, quien no sabía escribir CSS tenía dos opciones: pedir ayuda a un colega hábil o buscar en internet una respuesta que encajara con el problema. Los LLM cambiaron ese intercambio al permitir que casi cualquier persona delegue y produzca CSS “más o menos aceptable”. El mismo patrón se aplica a matemáticas a nivel de doctorado, a código informático que a menudo es útil pero puede ser pobre en estilo, y a prosa torpe al estilo LinkedIn.

Esa accesibilidad facilita suponer que usar un LLM requiere poca habilidad. Todos están hablando con los mismos modelos, así que un recién llegado a veces puede recibir una respuesta que parece similar a la de un usuario experimentado.

El argumento del artículo es que la diferencia crucial no es una fórmula secreta de indicaciones. Es la pericia en el dominio que se está discutiendo. Un experto en la materia puede reconocer la parte importante de una respuesta larga, identificar una suposición inusual, proponer una dirección mejor y rechazar una solución que es técnicamente plausible pero errónea para la situación.

Recomendado

Flux 3 hace que la historia falsa parezca inquietantemente real

Para los ingenieros de software, eso suele significar conocer la base de código en lugar de limitarse a entender principios genéricos del software. La familiaridad con los sistemas que gestionan les permite hacer preguntas concretas: si X funciona en un lugar determinado, por qué A se deriva de Y y Z, o si el código ya realiza la operación propuesta. Esas preguntas son más valiosas que peticiones generales de «mejores prácticas» porque los problemas de diseño del sistema están determinados por detalles específicos.

Eso es consistente con nuestro informe anterior sobre por qué la verificación sigue siendo costosa después de que el código se volvió barato.

Lo que muestra el intercambio de Terence Tao con ChatGPT

El artículo apunta a la conversación del matemático Terence Tao con ChatGPT sobre un contraejemplo descubierto recientemente a la Conjetura Jacobiana como un ejemplo claro. El autor dice que Tao parece estar usando una versión distinta de ChatGPT —no porque el modelo sea fundamentalmente diferente, sino porque la pericia de Tao cambia la interacción—.

Destacan varios detalles:

• Los mensajes de Tao son breves y precisos.
• Responde al meollo de una respuesta en lugar de abordar cada punto línea por línea.
• El modelo responde de forma más concisa que cuando el autor le pregunta sobre matemáticas.
• Al señalar su pericia, Tao parece mover el modelo de un modo de «explicar a aficionados» a un modo de «hablar con matemáticos».
• Cuando una respuesta parece incorrecta, Tao contraataca indirectamente, con comentarios como «esto parece más complejo de lo que esperaba».
• Hace sus propios saltos y sugerencias en lugar de limitarse a seguir el siguiente paso propuesto por el modelo.

Esos comportamientos no pueden reducirse a una lista de verificación. Alguien no familiarizado con las matemáticas podría imitar los mensajes breves de Tao o sus correcciones cautelosas, pero no sabría qué idea extraer de una respuesta de varios párrafos, qué formulación alternativa sugerir o qué detalle resulta sospechoso.

El autor hace el mismo punto a partir del trabajo en software. Una teoría sólida de la base de código proporciona un modelo interno de cómo debería ser una buena solución. Eso permite a un ingeniero decirle al LLM que un diseño podría ser más simple, que un componente existente ya resuelve el problema, o que la petición debería expresarse usando conceptos familiares al sistema.

El humano sigue siendo la limitación

El artículo no sostiene que el conocimiento del dominio sea necesario para toda interacción útil. Alguien sin experiencia aún puede usar un LLM para empezar, explorar un tema desconocido o producir un primer intento viable. La diferencia está en cuánto puede empujar el usuario al modelo y con qué fiabilidad puede juzgar lo que este devuelve.

La mayoría de la gente combinará ambos modos: experiencia en algunas áreas y dependencia del modelo en otras. A medida que los modelos mejoren, argumenta el artículo, el cuello de botella para muchas tareas puede seguir siendo la capacidad humana de comunicar con precisión la solución deseada.

Eso lleva a una conclusión menos obvia sobre los modelos cada vez más capaces. La información relevante puede ya estar presente en el modelo, pero extraer la respuesta correcta aún depende de un usuario que sepa qué preguntar, qué ignorar y cuándo redirigir la conversación. Los modelos más potentes no eliminan la pericia; pueden hacerla más poderosa al proporcionarle un mejor instrumento con el que trabajar.