Trois leçons pour créer un avantage durable en IA

TL;DR

• Intercom a commencé à expérimenter les modèles génératifs dans les heures qui ont suivi la sortie de GPT‑3.5 et, quatre mois plus tard, a lancé Fin, son Agent IA qui résout désormais des millions de requêtes clients chaque mois. Source
• L’entreprise a engagé 100 millions de dollars pour replâtonner l’entreprise autour de l’IA, réorganisé les équipes produit et adopté une stratégie de helpdesk axée IA, en construisant une plateforme capable de gérer de gros volumes et des requêtes complexes. Source
• Intercom applique un processus d’évaluation rigoureux — tests hors ligne et essais A/B en live — pour comparer les modèles (GPT‑4 vs GPT‑4.1) avant déploiement, ce qui permet une migration vers GPT‑4.1 en quelques jours avec des améliorations de fiabilité et de coût (environ 20% de moins que GPT‑4o). Source
• L’architecture de Fin est modulaire et agnostique au modèle, permettant d’acheminer les requêtes vers le meilleur modèle et de changer de modèle sans réingénierie. La plateforme est à sa troisième itération majeure, avec des évolutions futures en cours. Source

Contexte et antécédents

Intercom décrit sa plateforme comme capable de déployer de nouvelles capacités en quelques jours et non en trimestres. Lorsque ChatGPT est sorti en 2022, l’entreprise ne s’est pas contentée de lire les gros titres — elle a agi. Dans les heures qui ont suivi la sortie de GPT‑3.5, Intercom a commencé à expérimenter, et quatre mois plus tard, elle a lancé Fin, un Agent IA qui résout aujourd’hui des millions de requêtes clients chaque mois. Cette dynamique n’était pas un hasard. À mesure que les modèles de langage évoluent, Intercom a reconnu le potentiel de l’IA pour transformer l’expérience client et a réagi en formant une task force interfonctionnelle, en annulant des projets non IA et en s’engageant à réorienter l’entreprise autour de l’IA avec 100 millions de dollars. Cela a conduit à une réorganisation des équipes produit, à une stratégie de helpdesk axée IA et à une plateforme capable de soutenir Fin dans des volumes élevés et des flux de travail complexes. Source Les travaux précoces d’Intercom ont produit des enseignements pratiques. L’équipe a testé les modèles très tôt et souvent, tirant des enseignements de l’expérience pratique pour cartographier les limites des modèles et identifier des opportunités. Lorsque GPT‑4 est arrivé début 2023, Intercom était prête et a lancé Fin dans les quatre mois qui ont suivi. Cette expérience a également guidé la conception de Fin Tasks, un système d’automatisation des flux de travail complexes tels que les remboursements ou le support technique. Bien que l’équipe ait initialement prévu une architecture fondée sur le raisonnement, les évaluations ont montré que GPT‑4.1 pouvait prendre en charge la tâche avec une grande fiabilité et une latence plus faible, ce qui a conduit à son adoption dans Fin Tasks. Intercom a aussi découvert que l’ajout d’un prompting par chaîne de raisonnement à des requêtes non raisonnées aidait à combler les écarts de performances. En résumé, plus vous connaissez vos modèles, plus vous pouvez vous adapter rapidement à l’évolution des dernières avancées. Source Dans les évaluations, GPT‑4.1 a démontré la plus haute fiabilité pour effectuer les tâches tout en offrant une réduction de coût d’environ 20% par rapport à GPT‑4o. Les chiffres de complétude sont moyennés sur cinq exécutions indépendantes (Pass@k) afin de réduire la variance. Pour avancer rapidement, Intercom s’appuie sur la mesure: tests hors ligne et essais A/B en direct qui comparent les taux de résolution et la satisfaction client entre des modèles tels que GPT‑4 et GPT‑4.1. La migration de GPT‑4 vers GPT‑4.1 s’est faite en quelques jours après confirmation des améliorations en traitement d’instructions et en exécution des fonctions. Le même cadre a été appliqué au Fin Voice, où de nouveaux snapshots de modèles de voix ont été validés pour la latence, l’exécution des fonctions et le respect des scripts afin d’offrir des interactions téléphoniques de qualité humaine. Source L’architecture de Fin est conçue pour être modulaire et compatible avec plusieurs modalités — chat, e‑mail et voix — avec des compromis différents en termes de latence et de complexité. Le système peut acheminer les requêtes vers le modèle le mieux adapté et permettre de changer de modèle sans réingénierie de l’infrastructure sous‑jacente. Fin compte désormais avec trois itérations majeures et une prochaine en développement. Lorsque les capacités d’instruction de GPT‑4.1 ont dépassé les attentes, l’équipe a réorganisé Fin Tasks pour exploiter ces forces, offrant la même fiabilité avec une latence et un coût réduits et une complexité architecturale moindre. Cela illustre comment une plateforme peut rester à jour face aux progrès des modèles tout en maintenant performance et discipline des coûts. Source Fin AI Engine™ marque la prochaine étape: propulsé par des modèles avancés et construit sur une base modulaire et agnostique en matière de modèle, Intercom étend l’IA au‑delà du support client pour alimenter des flux de travail dans toute l’entreprise — délivrant des résolutions plus rapides et de meilleures expériences clients. L’approche de l’entreprise — évaluation rigoureuse, décisions fondées sur la performance et design flexible — offre un modèle reproductible pour tous ceux qui travaillent avec l’IA. Source

Ce qu’il y a de nouveau

• Trois leçons clés émergent du parcours d’Intercom: tester les modèles tôt, mesurer ce qui fonctionne et concevoir une architecture qui évolue avec chaque modèle. Ces piliers soutiennent une plateforme IA évolutive qui livre de nouvelles capacités rapidement. Source
• La plateforme Fin montre comment une équipe multifonction peut pivoter vers l’IA, aligner une stratégie de helpdesk axée IA et reconfigurer l’entreprise autour de flux de travail IA évolutifs. Source
• Le passage à GPT‑4.1 dans Fin Tasks et Fin Voice a apporté une fiabilité accrue avec une latence et un coût plus faibles, validant le cadre d’évaluation et l’approche architecturale. Source

Pourquoi cela compte (impact pour les développeurs/entreprises)

• Un processus d’évaluation discipliné — tests hors ligne et essais A/B en live — permet aux équipes de comparer les modèles sur le suivi des instructions, l’exécution des outils et la cohérence avant le déploiement. Cela réduit le risque et accélère l’adoption des meilleurs modèles. Source
• Une architecture modulaire et agnostique en matière de modèle permet d’acheminer les requêtes vers le meilleur modèle pour chaque tâche et de changer de modèle sans réingénierie, soutenant l’évolution continue lorsque de nouveaux modèles apparaissent. Source
• L’exemple Fin illustre comment l’IA peut s’étendre au‑delà du support client pour piloter des flux de travail end‑to‑end tout en maîtrisant la latence et le coût. Source

Détails techniques ou mise en œuvre

L’approche d’Intercom allie évaluation rigoureuse et flexibilité architecturale. Pour chaque nouveau modèle OpenAI — utilisé pour Fin Voice via l’API Realtime ou pour Fin Tasks via GPT‑4.1 — le modèle passe par des tests hors ligne structurés et des essais A/B en live afin d’évaluer le suivi des instructions, la précision des appels d’outil et la cohérence avant déploiement. L’équipe compare les modèles à des transcriptions d’interactions réelles de support pour évaluer les instructions en plusieurs étapes (rembourses), la cohérence de la voix de la marque et les appels de fonction fiables. Ces résultats alimentent les tests A/B en direct qui comparent les taux de résolution et la satisfaction client entre des modèles comme GPT‑4 et GPT‑4.1, permettant des migrations rapides lorsque les améliorations sont confirmées. En pratique, Intercom a migré de GPT‑4 vers GPT‑4.1 en quelques jours après confirmation des améliorations, et cela s’applique au Fin Voice et au Fin Tasks. Source L’architecture de Fin est conçue pour être modulaire et compatible avec plusieurs modalités — chat, e‑mail et voix — chacune avec ses compromis en matière de latence et de complexité. Le système peut acheminer les requêtes vers le modèle le plus adapté et permettre de changer de modèle sans réingénierie de l’infrastructure. Fin compte déjà trois itérations majeures, la prochaine étant en développement. Lorsque les capacités d’instruction de GPT‑4.1 ont dépassé les attentes, l’équipe a réorganisé Fin Tasks pour exploiter ces forces, offrant la même fiabilité avec une latence et un coût plus faibles et réduisant la complexité architecturale. Source | Modèle | Fiabilité (Fin Tasks) |

Points clés

• Expérimenter tôt et itérer avec des données réelles pour comprendre les limites et les opportunités des modèles.
• Construire une architecture modulaire orientée modèle qui peut acheminer les tâches vers le modèle le plus adapté et changer de modèle sans réingénierie.
• Mettre en place des tests hors ligne et des pilotes A/B en direct pour appuyer les décisions de déploiement.
• Utiliser les résultats des évaluations pour guider les choix architecturaux, réduire la complexité lorsque c’est possible et l’accepter seulement pour activer de nouvelles capacités.
• Associer la direction et les ressources pour soutenir la réorientation IA et les changements multifonctionnels qui maintiennent l’élan.

FAQ

• Q: Comment Intercom a-t‑elle démarré la plateforme Fin et que fait Fin ? A: Intercom a commencé à expérimenter avec les modèles peu après le lancement du GPT‑3.5 et a lancé Fin, son Agent IA qui résout aujourd’hui des millions de requêtes clients. Fin Tasks automatise des flux de travail complexes comme les remboursements et le support technique. Source
• Q: Comment Intercom évalue-t‑elle les modèles avant le déploiement ? A: Les modèles sont évalués via des tests hors ligne structurés et des essais A/B en direct pour le suivi des instructions, l’exécution des outils et la cohérence; la migration vers GPT‑4.1 a été réalisée en quelques jours après la validation des améliorations. Source
• Q: Pourquoi une architecture modulaire est-elle importante pour les plateformes IA ? A: Une architecture modulaire et agnostique en matière de modèle permet d’acheminer les requêtes vers le modèle le plus adapté et de changer de modèle sans réingénierie, soutenant une évolution continue face aux avancées des modèles. Source
• Q: Quel est l’investissement et l’objectif de l’initiative IA d’Intercom ? A: Intercom a engagé 100 millions de dollars pour réorienter l’entreprise autour de l’IA, réorganisé les équipes produit et mis en place une stratégie de helpdesk axée IA, capable de gérer des volumes importants et des requêtes complexes. Source

Références

• Intercom’s AI platform journey on OpenAI
• https://openai.com/index/intercom