Anthology: Personas virtuales para LLMs mediante historias de vida ricas

TL;DR

• Anthology presenta backstories naturales y ricos para condicionar grandes modelos de lenguaje (LLMs) como personas virtuales con valores, experiencias y demografía individual. Anthology paper
• El objetivo es ir más allá de prompts demográficos breves y lograr una aproximación más fiel a respuestas humanas individuales mediante narrativas de vida detalladas.
• En evaluaciones con encuestas ATP del Pew Research Center (Ondas 34, 92 y 99), Anthology superó de manera consistente a otros métodos de condicionamiento en múltiples métricas y modelos (p. ej., Llama-3-70B, Mixtral-8x22B).
• El enfoque abre oportunidades para investigaciones a gran escala, a la vez que subraya precauciones éticas sobre sesgos y privacidad.
• Trabajos futuros contemplan ampliar la diversidad de backstories, respuestas en formato libre y simulaciones de efectos a largo plazo.

Contexto y antecedentes

Trabajos recientes han considerado que los modelos de lenguaje pueden funcionar como modelos de agentes: dado un contexto textual, los LLMs pueden generar textos condicionados que reflejan las características de un agente probable. Esta idea sugiere que, con el condicionamiento adecuado, los LLMs podrían aproximarse a las respuestas de la voz de un humano específico en lugar de una voz combinada. Si se realiza, esta capacidad podría transformar la investigación con usuarios y las ciencias sociales al permitir estudios piloto de bajo costo y apoyar principios éticos en estudios con humanos. Sin embargo, enfoques de condicionamiento previos dependían de prompts demográficos breves (p. ej., “Tengo 25 años, soy de California…”) que describen un conjunto de variables demográficas y no una persona real. Tales métodos tienden a aproximar respuestas a nivel poblacional y no a nivel individual. Anthology busca cerrar esa brecha al enraizar los LLMs en narrativas de vida ricas que reflejan marcadores de identidad personal y contextos culturales. La idea central es generar un conjunto amplio de backstories que cubran atributos demográficos diversos y experiencias de vida. Estas narrativas sirven como contexto de condicionamiento para que los LLMs simulen respuestas de individuos específicos.

Novedades

Anthology ofrece un flujo de trabajo concreto para orientar LLMs hacia personas virtuales representativas, consistentes y diversas. Pasos clave:

• Generación de backstories desde los propios LLMs: prompts abiertos como “Cuéntame sobre ti” crean narrativas de vida detalladas que codifican rasgos de identidad, experiencias y valores.
• Condicionamiento basado en backstory: las personas virtuales se condicionan a partir de estas narrativas para producir respuestas acordes con la historia descrita.
• Emparejamiento con muestras reales: cada persona condicionada se empareja con respondentes reales de encuestas.
• Evaluación con métricas objetivas: se estiman límites inferiores dividiendo aleatoriamente la población humana en dos grupos iguales 100 veces y midiendo las métricas entre subgrupos.
• Modelos evaluados: los resultados se reportan para dos familias de modelos — Llama-3-70B y Mixtral-8x22B — demostrando que Anthology logra un mejor ajuste que los métodos de condicionamiento basales. Anthology paper En comparaciones entre estrategias de emparejamiento, el emparejamiento voraz (greedy) tiende a mostrar mejores distancias Wasserstein promedio a lo largo de las olas, debido a la restricción de correspondencia uno a uno y al tamaño limitado de usuarios virtuales. Estos hallazgos sugieren que la riqueza de las backstories genera respuestas más matizadas que los enfoques basados únicamente en prompts demográficos. Anthology paper Este trabajo apunta hacia una dirección prometedora para condicionar personas virtuales en LLMs que podría transformar cómo llevamos a cabo investigaciones con usuarios, encuestas de opinión pública y otras aplicaciones sociales, al ofrecer una alternativa escalable y, en algunos casos, ética a las encuestas humanas tradicionales. Sin embargo, como en cualquier aplicación de modelos de lenguaje en ciencias sociales, existen consideraciones sobre sesgos y privacidad que deben abordarse con precaución. Anthology paper

Por qué importa (impacto para desarrolladores/empresas)

• Simulaciones de personas a gran escala: Anthology abre la vía para simular individuos a gran escala, facilitando estudios piloto y pruebas de encuestas sin reclutar participantes reales.
• Síntesis de datos más rica: al anclar modelos en narrativas de vida naturales, los investigadores pueden generar respuestas más matizadas que reflejan experiencias y contextos de vida diversos.
• Mejor alineación para estudios dirigidos: la capacidad de asignar una persona virtual a partir de una historia podría mejorar la fidelidad de estudios sobre opiniones, comportamientos de consumidores y patrones de respuesta.
• Consideraciones éticas y de privacidad: el enfoque plantea cuestiones sobre sesgos y privacidad, requiriendo interpretación cautelosa y gobernanza adecuada en contextos de ciencias sociales. Anthology paper

Detalles técnicos o Implementación

• Generación de backstories: se genera un gran conjunto de narrativas de vida mediante prompts abiertos como “Cuéntame sobre ti”, que codifican marcadores demográficos, contextos culturales, situaciones socioeconómicas y filosofías de vida.
• Condicionamiento a partir de la backstory: las personas virtuales se condicionan para que sus respuestas reflejen la historia descrita.
• Emparejamiento con muestras reales: cada persona condicionada se empareja con respondentes reales para la evaluación.
• Metodología de evaluación: se estiman límites inferiores dividiendo aleatoriamente la población en dos grupos iguales 100 veces, evaluando métricas entre subgrupos. Los resultados abarcan Llama-3-70B y Mixtral-8x22B. Anthology paper
• Consideraciones de emparejamiento: se comparan emparejamiento greedy y emparejamiento por peso máximo. En general, greedy tiende a mostrar distancias Wasserstein medias mejores a lo largo de las olas, debido a la restricción de correspondencia uno a uno y al tamaño limitado de usuarios. Anthology paper | Método | Efecto | Notas |---|---|---| | Anthology | Mejor alineación con muestras humanas | Usa backstories ricas para condicionar LLMs |Prompts demográficos básicos | Aproximación a nivel poblacional | Prompts breves describiendo variables demográficas |

Conclusiones clave

• Las backstories ricas como contexto de condicionamiento permiten que los LLMs simulen muestras humanas individuales con mayor fidelidad que los prompts demográficos simples.
• Anthology muestra mejoras consistentes en múltiples métricas y con varias familias de modelos al aproximar respuestas humanas en encuestas ATP del Pew Center.
• Las consideraciones de emparejamiento y el uso de greed vs peso máximo influyen en el grado de similitud entre personas virtuales y respondentes reales.
• Esta aproximación tiene potencial para investigaciones y encuestas a gran escala, siempre presentando consideraciones sobre sesgos y privacidad.
• Futuras direcciones: ampliar la diversidad de backstories, permitir respuestas en formato libre y simular efectos a lo largo del tiempo.

Referencias

• https://bair.berkeley.edu/blog/2024/11/12/virutal-persona-llm