Três lições para criar uma vantagem sustentável em IA

TL;DR

• A Intercom criou uma plataforma de IA escalável ao experimentar cedo, avaliar com rigor e desenhar uma arquitetura que evolui com cada modelo. Fonte
• Após o GPT‑3.5 e o momento gerado pelo ChatGPT em 2022, a Intercom lançou o Fin em quatro meses e, hoje, resolve milhões de consultas mensalmente, apoiada por uma força‑tarefa multifuncional e pela reestruturação de 100 milhões de dólares para a IA.
• O GPT‑4.1 entregou maior confiabilidade com menor latência e cerca de 20% de redução de custo em relação ao GPT‑4o, permitindo melhorias no Fin Tasks e no Fin Voice.
• A plataforma é modular e independente de modelo, permitindo encaminhar tarefas ao melhor modelo e trocá‑los sem reengenharia, com a arquitetura do Fin já na sua terceira iteração importante.
• A abordagem oferece um modelo replicável para desenvolvedores e empresas que buscam experiências de cliente movidas a IA.

Contexto e antecedentes

Quando a OpenAI lançou o GPT‑3.5 e, mais tarde, o GPT‑4, a Intercom não ficou apenas lendo as manchetes. A liderança formou uma força‑tarefa multifuncional, cancelou projetos não relacionados a IA e comprometeu 100 milhões de dólares para replanejar o negócio em torno da IA. Essa decisão catalisou mudanças em toda a empresa: equipes de produto reorganizadas, uma nova estratégia de helpdesk com foco em IA e uma plataforma desenhada para suportar o Fin no manuseio de altos volumes e consultas complexas. Ao se mobilizar cedo, a Intercom buscou remodelar a experiência do cliente por meio da IA e estabelecer uma base capaz de crescer com modelos em evolução. O caminho começou com a decisão de replanejar e reorientar a empresa para a IA como prioridade estratégica, o que mais tarde ajudou a ampliar o Fin como agente de IA. Fonte Este contexto está alicerçado na comunicação pública da Intercom sobre a evolução de sua plataforma de IA e a família de produtos Fin, que inclui Fin, Fin Tasks e Fin Voice. Para leitores acompanhando o arco completo, o foco está em como ação precoce e uma governança centralizada de IA permitiram experimentar rapidamente e implantar com foco no cliente. Fonte

O que há de novo

As inovações centrais da experiência da Intercom repousam sobre três lições concretas, cada uma ligada a uma prática que escala com os avanços dos modelos:

• Testar modelos cedo, com frequência, aprendendo profundamente com os resultados. A Intercom começou a experimentar com modelos gerativos cedo e usou a experiência prática para mapear limites do modelo, identificar oportunidades e se preparar para modelos mais capazes. Quando o GPT‑4 chegou em 2023, já tinham construído a margem necessária para lançar o Fin em quatro meses. Eles também projetaram o Fin Tasks com foco na automação de fluxos complexos, beneficiando‑se das capacidades do GPT‑4.1. A lição: quanto melhor você conhece seus modelos, mais rápido pode adaptar‑se com segurança conforme a tecnologia avança. Fonte
• Medir o que funciona—e o porquê. O processo de avaliação da Intercom combina testes offline com experimentos A/B ao vivo para avaliar seguimento de instruções, precisão de chamadas a ferramentas e coerência antes da implantação. Eles comparam modelos com transcrições de interações reais de suporte para avaliar instruções de múltiplos passos, aderência à voz da marca e execução confiável de funções. Essa abordagem rigorosa permitiu migrar de GPT‑4 para GPT‑4.1 em poucos dias e obter ganhos mensuráveis em desempenho e satisfação do usuário. Fonte
• Construir para a mudança com uma arquitetura modular e independente de modelo. O sistema do Fin foi concebido como modular e model‑agnostic, suportando várias modalidades (chat, e‑mail, voz) com compromissos diferentes entre latência e complexidade. A arquitetura permite encaminhar consultas ao melhor modelo para o trabalho e trocar modelos sem reengenharia do sistema subjacente. À medida que os modelos melhoram, a equipe adiciona complexidade onde necessário para desbloquear capacidades e simplifica onde for possível. Quando o GPT‑4.1 mostrou maior capacidade de seguir instruções, entregando a mesma confiabilidade com menor latência e custo, isso levou a uma simplificação de arquitetura, não ao aumento de complexidade. Fonte

Por que isso importa (impacto para desenvolvedores/empresas)

A jornada da Intercom demonstra um modelo repetível de sucesso em IA na experiência do cliente:

• Experimentação precoce e disciplinada combinada com avaliação rigorosa pode acelerar o valor real com o surgimento de novos modelos e modalidades. Isso reduz risco ao construir conhecimento sobre o comportamento do modelo antes de implantar em larga escala.
• Um modelo operacional claramente definido de IA—incluindo uma força‑tarefa multifuncional e patrocínio executivo—pode realocar recursos para iniciativas de IA e alinhar equipes de produto em torno de objetivos comuns.
• Uma arquitetura modular e independente de modelo permite encaminhar tarefas para o modelo mais adequado e trocar modelos com interrupção mínima, preparando a plataforma para capacidades futuras ao longo do tempo.
• Os benefícios financeiros e de desempenho observados—como a redução de custo de 20% associada ao GPT‑4.1 nas avaliações da Intercom—destacam ganhos potenciais para empresas que buscam escalar IA com eficiência. Para desenvolvedores, isso oferece um caminho prático: comece com uma governança multifuncional, invista em uma plataforma modular e implemente uma estrutura de avaliação rigorosa que reflita o uso no mundo real. Para empresas, isso sinaliza o valor de alinhar produto, engenharia e operações em torno das capacidades de IA, mantendo a agilidade para adaptar‑se conforme os modelos evoluem.

Detalhes técnicos ou Implementação (como fizeram)

A abordagem técnica da Intercom combina três pilares: avaliação rigorosa, arquitetura modular e um processo de implantação disciplinado.

• Framework de avaliação: cada novo modelo OpenAI—seja para Fin Voice, Fin Tasks ou outros componentes—passa por testes offline estruturados e experimentos A/B ao vivo antes da implantação. Eles comparam modelos com transcrições de interações reais de suporte, concentrando‑se em seguir instruções, usar ferramentas e manter coerência. Os resultados da avaliação orientam os testes A/B que comparam taxas de resolução e satisfação do cliente entre modelos como GPT‑4 e GPT‑4.1. Essa metodologia permitiu migrar rapidamente de GPT‑4 para GPT‑4.1 em questão de dias. Fonte
• Modularidade e encaminhamento: o Fin foi concebido para ser modular e independente de modelo, suportando várias modalidades (chat, e‑mail, voz) com diferentes tradeoffs entre latência e complexidade. A arquitetura permite encaminhar consultas ao melhor modelo para cada tarefa e trocar modelos sem reengenharia. À medida que os modelos evoluem, a equipe adiciona complexidade onde necessário para desbloquear capacidades, e simplifica onde é possível. O aperfeiçoamento com GPT‑4.1 em tarefas que exigem instruções demonstrou maior eficiência de latência e custo, levando a uma simplificação de design em vez de aumento de complexidade. Fonte
• Evolução e iteração: a arquitetura do Fin já passou por três grandes iterações, com a próxima já em desenvolvimento. As mudanças refletem um compromisso contínuo de evoluir a plataforma junto com modelos, modalidades e fluxos de trabalho. Por exemplo, melhorias no Fin Voice incluíram avaliações de personalidade, tom, interrupção e ruído de fundo para manter experiências de qualidade humana em suporte telefônico. Fonte
• Fin AI Engine: Construído sobre modelos avançados e em uma base modular e independente de modelo, o Fin AI Engine exemplifica como uma plataforma de IA pode escalar além do suporte ao cliente para impulsionar fluxos de trabalho mais amplos no negócio, entregando resoluções mais rápidas e melhores experiências para o cliente. Fonte

Principais aprendizados

• Começar com um mandato multifuncional de IA e comprometer-se com a reestruturação para apoiar IA em escala é essencial. Fonte
• Construir uma plataforma modular e independente de modelo que roteie tarefas para o melhor modelo e permita trocar modelos sem reengenharia. Fonte
• Investir em avaliação rigorosa (testes offline e A/B ao vivo) conectada ao uso real do usuário para medir seguir instruções, uso de ferramentas e coerência. Fonte
• Aproveitar melhorias em novas iterações de modelo (como GPT‑4.1) para rearquitetar ou simplificar fluxos de trabalho, em vez de adicionar complexidade. Fonte
• Traduzir capacidades de modelo em resultados de negócios tangíveis, como maior velocidade de resolução, maior satisfação do usuário e reduções reais de custo. Fonte

Referências

• https://openai.com/index/intercom