Citações com Amazon Nova: prompts para fontes e avaliação de citações de modelos

TL;DR

• Os modelos de compreensão Amazon Nova podem ser instruídos a citar suas fontes nas respostas. AWS Blog
• O post inclui um exemplo concreto usando cartas de acionistas da Amazon para mostrar citações inseridas na resposta.
• Uma avaliação com LLM-juiz no Bedrock mediu a coerência, fidelidade e correção do Nova Pro, registrando 0,78 e 0,67, respectivamente.
• A abordagem é acompanhada de código-fonte aberto no GitHub de AWS Samples e referências a um prompt library para prompts do Nova.
• A família Amazon Nova contém vários conjuntos de modelos, com quatro modelos de compreensão e modelos adicionais de criação de conteúdo e de fala para fala, todos integrados ao Amazon Bedrock.

Contexto e antecedentes

Modelos de linguagem grande (LLMs) são utilizados cada vez mais em contextos tanto de consumo quanto empresariais. Um desafio é a tendência de alucinações ou respostas incorretas com alto grau de confiança, o que reduz a confiabilidade. O artigo observa que as pessoas costumam confiar em especialistas que embasam suas afirmações com referências e um processo de raciocínio visível. Promptar os LLMs para citarem fontes torna as saídas mais verificáveis e confiáveis. O post foca em como promptar modelos de compreensão Amazon Nova para produzir citações nas respostas e como avaliar as respostas e as citações quanto à precisão. A Amazon Nova foi lançada em dezembro de 2024 como uma nova geração de modelos de base que oferecem inteligência de ponta com bom desempenho de preço, disponível no Bedrock. A família Nova inclui quatro modelos de compreensão (Nova Micro, Nova Lite, Nova Pro, Nova Premier), dois modelos de criação de conteúdo (Nova Canvas e Nova Reel) e um modelo de fala para fala (Nova Sonic). Os modelos são projetados para integração com o Bedrock, permitindo que desenvolvedores constroem e escalem aplicações de IA generativa. Para leitores interessados em implementar citações, o artigo demonstra como estruturar prompts para que o modelo forneça citações a partir do contexto e apresente o formato de saída de forma clara. Para ilustrar a abordagem, o post apresenta um exemplo de prompt para o Nova Pro que envolve perguntas sobre cartas de acionistas. A carta é incluída como contexto, e o Nova Pro é orientado a responder com citações extraídas da carta. O texto apresenta a ideia de um prompt com prompts de entrada e saída, mostrando como as citações aparecem no output do modelo.

O que há de novo

O post documenta um método prático para promptar modelos de compreensão Nova para citar fontes no contexto, usando instruções diretas. Também mostra um fluxo de avaliação em que um LLM adicional atua como juiz para avaliar respostas e citações através de vários prompts. A avaliação utiliza as capacidades do Bedrock com o modelo Claude 3.5 Sonnet v1 como avaliador. Os autores descrevem a preparação de um conjunto de dados no formato jsonl para avaliação e mencionam o código-fonte aberto no AWS Samples GitHub. Os resultados destacam uma pontuação de coerência/fidelidade de 0,78 e de correção de 0,67 para o Nova Pro, indicando que as respostas foram abrangentes, úteis e precisas, mantendo coerência conforme avaliado pelo juiz. O artigo também observa a existência de um prompt library para aprender mais sobre prompts para os modelos Nova e aponta para informações adicionais sobre avaliações do Bedrock na AWS.

Por que isso importa (impacto para desenvolvedores/empresas)

Citações são centrais para aumentar a confiabilidade e a utilidade prática em aplicações movidas por IA. Ao permitir que os modelos Nova de compreensão citem fontes e ao validar essas citações por meio de avaliação automatizada, desenvolvedores e empresas podem construir assistentes mais confiáveis, ferramentas de conhecimento e sistemas voltados ao cliente. A abordagem demonstrada oferece um método concreto e escalável para avaliar a precisão das citações e o desempenho do modelo, ajudando na seleção de modelos, engenharia de prompts e design de sistemas em ambientes de produção.

Detalhes técnicos ou Implementação

O artigo enfatiza estratégias de prompting para instruir os modelos a citar fontes e a apresentar respostas em um formato distinto e parseável, de modo que as citações fiquem identificáveis. Um fluxo de trabalho exemplifica o uso de uma carta de acionistas como contexto e solicita ao Nova Pro que responda a perguntas com citações extraídas desse contexto. A avaliação descreve ainda um cenário em que um segundo LLM atua como juiz (Claude 3.5 Sonnet v1) para avaliar respostas e citações ao longo de vários prompts. A avaliação utiliza um conjunto de dados jsonl com prompts e respostas, com métricas como coerência, fidelidade e precisão. Um aspecto-chave da implementação é incluir um prompt de sistema e um prompt de usuário na entrada para orientar o comportamento do modelo, garantindo que a saída separe claramente a resposta do modelo das citações. O texto menciona também o código de avaliação aberto no AWS Samples GitHub e faz referência a uma prompt library para aprender mais sobre prompts de modelos Nova. Além disso, aponta para informações adicionais sobre as avaliações do Amazon Bedrock na AWS.

Visão geral da família de modelos Nova

Principais conclusões

• Citações podem ser incorporadas nas respostas dos modelos seguindo práticas de prompting.
• Validar citações com o contexto de origem aumenta a confiabilidade.
• Um fluxo de avaliação com LLM-juiz permite analisar várias respostas de prompts em termos de coerência, fidelidade e correção.
• O Nova Pro apresentou desempenho mensurável na avaliação: 0,78 de coerência/fidelidade e 0,67 de correção.
• Recursos abertos (AWS Samples GitHub) e um prompt library apoiam a adoção mais ampla de prompts com citações para modelos Amazon Nova.

Referências

• https://aws.amazon.com/blogs/machine-learning/citations-with-amazon-nova-understanding-models