Investigadores del MIT han logrado un avance significativo en la comprensión de por qué los grandes modelos de lenguaje (LLM) presentan sesgos, lo que podría allanar el camino hacia sistemas de IA más fiables.
El equipo descubrió que los LLM sufren un "sesgo de posición", una tendencia a sobrevalorar la información situada al principio y al final de los documentos, mientras descuidan el contenido intermedio. Este sesgo tiene implicaciones prácticas: por ejemplo, cuando un abogado utiliza un asistente basado en LLM para buscar en un documento de 30 páginas, el sistema tiene más probabilidades de encontrar texto relevante si aparece en las páginas iniciales o finales.
Lo que hace revolucionario este hallazgo es que los investigadores han identificado la causa raíz dentro de la propia arquitectura del modelo. "Estos modelos son cajas negras, así que, como usuario de un LLM, probablemente no sepas que el sesgo de posición puede hacer que tu modelo sea inconsistente", explica Xinyi Wu, estudiante de posgrado en el MIT y autora principal de la investigación.
El equipo construyó un marco teórico basado en grafos para analizar cómo fluye la información a través de la arquitectura de aprendizaje automático de los LLM. Su análisis reveló que ciertas decisiones de diseño —concretamente el enmascaramiento causal y los mecanismos de atención— confieren a los modelos un sesgo inherente hacia el principio de una entrada, incluso cuando ese sesgo no existe en los datos de entrenamiento.
"Aunque a menudo es cierto que las palabras iniciales y finales de una frase son más importantes, si un LLM se utiliza en una tarea que no es generación de lenguaje natural, como la clasificación o la recuperación de información, estos sesgos pueden ser extremadamente perjudiciales", señala Wu.
Esta investigación complementa otros estudios recientes que demuestran que los LLM albergan diversas formas de sesgo. Un estudio independiente de la Universidad de Princeton descubrió que incluso los LLM explícitamente imparciales desarrollan sesgos implícitos similares a los de los humanos que rechazan conscientemente los estereotipos pero los perpetúan de forma inconsciente. Utilizando métricas inspiradas en la psicología, los investigadores detectaron sesgos estereotipados generalizados en categorías de raza, género, religión y salud en ocho modelos alineados con valores.
Los hallazgos del MIT ofrecen lo que el profesor de Stanford Amin Saberi denomina "una rara perspectiva teórica sobre el mecanismo de atención en el corazón del modelo transformer", proporcionando tanto claridad matemática como ideas prácticas para sistemas del mundo real. A medida que los LLM se integran cada vez más en aplicaciones críticas, comprender y abordar estos sesgos inherentes será esencial para desarrollar tecnologías de IA justas y fiables.