Items tagged with “LLM”.
NVIDIA Dynamo déporte le KV Cache depuis la mémoire GPU vers un stockage économique, permettant des contextes plus longs, une meilleure concurrence et des coûts d’inférence réduits pour les grands modèles et les charges AI génératives.
Analyse approfondie sur la façon dont NVIDIA Run:ai Model Streamer abaisse les temps de démarrage à froid pour l’inférence des LLM en diffusant les poids vers la mémoire GPU, avec des benchmarks sur GP3, IO2 et S3.
Verisk Rating Insights, propulsé par Amazon Bedrock, LLM et RAG, offre une interface conversationnelle pour accéder aux changements ERC ISO, réduisant les téléchargements manuels et accélérant les informations fiables.
Cet article explique comment msg a automatisé l'harmonisation des données pour msg.ProfileMap en utilisant Amazon Bedrock pour alimenter des flux d'enrichissement pilotés par LLM, améliorant la précision de l'appariement des concepts RH, réduisant la charge manuelle et assurant la conformité avec l'
Optimisez l’expérimentation jusqu’à la production pour le RAG (Retrieval Augmented Generation) avec SageMaker AI, MLflow et Pipelines, afin d’obtenir des flux reproductibles, évolutifs et gouvernés.
NVIDIA NIM Operator 3.0.0 étend l’inférence IA scalable sur Kubernetes, avec déploiements multi-LLM et multi-nœud, intégration KServe et support DRA en version technologique, en collaboration avec Red Hat et NeMo Guardrails.
AWS annonce les modèles Falcon-H1 à instruction de TII (0,5B–34B) sur Amazon Bedrock Marketplace et SageMaker JumpStart, avec support multilingue, architecture hybride et guide de déploiement.
Une approche d’échange de mémoire GPU (swap de mémoire) permet à plusieurs modèles de partager les GPU au-delà de la capacité, réduisant les coûts tout en maintenant la réactivité pour l’inférence LLM à grande échelle.
Exploitez le swap mémoire GPU (hot-swapping de modèles) pour partager les GPUs entre plusieurs LLM, réduire les coûts inoccupés et améliorer l’auto-Scaling tout en respectant les SLA.
NVIDIA décrit un flux SFT + QAT pour récupérer la précision FP4 lors de l’ajustement fin de gpt-oss, en comparant MXFP4 et NVFP4, et détaille les gains de déploiement et de performance avec des taux de réussite de 98% sur des tâches ciblées.
Explique pourquoi les petits modèles de langage (SLM) permettent une IA agentive scalable, le rôle des écosystèmes de modèles hétérogènes et les voies pratiques d'adoption avec NVIDIA NeMo et Nemotron Nano 2.
Guide du fine-tuning de gpt-oss utilisant SFT + QAT pour récupérer la précision FP4 tout en préservant l’efficacité, avec upcast vers BF16, MXFP4, NVFP4 et déploiement avec TensorRT-LLM.
Explique comment les petits modèles linguistiques permettent une IA agentique plus rentable et flexible, aux côtés des LLMs, via NVIDIA NeMo et Nemotron Nano 2.
Guide pour déployer et faire évoluer des agents LangGraph en production avec le NeMo Agent Toolkit, des tests de charge et une mise en œuvre par étapes pour des centaines à des milliers d’utilisateurs.
Examen des méthodes utilisées par Amazon Health Services pour améliorer la découvrabilité dans la recherche Amazon en combinant ML, NLP, recherche vectorielle et LLM via SageMaker, Bedrock et EMR.
Jetson Thor offre l’IA en bordure à échelle robotique, avec GPU Blackwell, MIG, FP4/FP8 et 128 Go de mémoire pour les plateformes robotiques de nouvelle génération.
NVFP4 est un format de données en 4 bits offrant une précision équivalente au FP16 avec la bande passante et l’efficacité mémoire du 4 bits, étendu au pré-entraînement pour les grands modèles de langage. Ce profil couvre des expériences en 12B, la stabilité et les collaborations industrielles.
Examine comment intégrer des données géospatiales et des flux GIS avec Amazon Bedrock, en utilisant des LLM, le RAG et des Bedrock Agents pour déverrouiller des insights et rationaliser les opérations.
La recherche ML d’Apple présente SlowFast-LLaVA-1.5 (SF-LLaVA-1.5), une famille de LLMs vidéo à faible coût en jetons pour la compréhension de vidéos longues, utilisant le mécanisme SlowFast à deux flux et des données publiques pour atteindre des performances de pointe entre 1B et 7B.
Des chercheurs d'Apple identifient des « super poids » — une très petite sous-ensemble de paramètres — qui peuvent influencer de manière décisive le comportement d'un LLM, ouvrant des perspectives de compression et soulevant des questions sur la dynamique interne.
Analyse approfondie de la manifestation des biais intersectionnels dans les LLMs au moyen de disparités de confiance en coreference. Le travail présente WinoIdentity et la métrique Coreference Confidence Disparity.
UICoder affine des grands modèles de langage pour générer du code d’interface utilisateur via des retours automatisés issus de compilateurs et de modèles multimodaux, réduisant le recours à des étiquetages humains coûteux et se rapprochant des modèles propriétaires.
Cet article AWS démontre comment inciter les modèles de compréhension Nova à citer des sources et comment évaluer les réponses et les citations pour l'exactitude via une approche « juge IA ».
Aperçu d'Amazon Bedrock AgentCore Memory, un service entièrement géré permettant aux agents IA de conserver à la fois une mémoire à court terme et une mémoire à long terme pour des interactions continues et personnalisées.
PwC et AWS allient l'expertise sectorielle de PwC avec les vérifications de Raisonnement Automatisé dans Guardrails d'Amazon Bedrock pour une IA vérifiable et conforme dans les secteurs réglementés, y compris l'adaptation à l'UE AI Act, Regulated Content Orchestrator et gestion des pannes.
La recherche NVIDIA présente ProRL v2, un cadre de reinforcement learning prolongé pour les LLMs, avec de nouvelles méthodes et résultats empiriques démontrant des gains soutenus au-delà des scénarios d’entraînement traditionnels.
FilBench évalue les performances des LLMs pour Tagalog, Filipino et Cebuano dans les domaines connaissance culturelle, NLP classique, compréhension en lecture et génération, révélant l'efficacité et les résultats de traduction pour les modèles SEA et GPT-4o.
TextQuests est un benchmark qui évalue les agents LLM sur 25 jeux classiques d’infocom, mettant l’accent sur le raisonnement en contexte long et l’exploration autonome.
FilBench est une suite d’évaluation complète pour mesurer les capacités des LLMs en Tagalog, Filipino et Cebuano, couvrant connaissance culturelle, NLP classique, compréhension de lecture et génération.
Propose une approximation par quantification vectorielle du scoring d’attention croisée pour récupérer efficacement des entrées de biais contextuel pour la reconnaissance vocale. Permet des catalogues volumineux avec biais par récupération, avec jusqu’à 71% de réduction relative d’erreurs et d’impor
AI Sheets est un outil open-source sans code pour créer, enrichir et transformer des jeux de données avec des modèles d IA. Déployable localement ou sur le Hub, il prend en charge des milliers de modèles ouverts et permet des itérations par prompts, retours en mode few-shot et comparaisons de modèle
Diff Risk Score (DRS) utilise un LLM Llama ajusté pour prédire si une modification de code peut provoquer un incident en production, en mettant en évidence les diffs risqués et en favorisant le développement conscient du risque.
Une étude détaillée explore les risques de frontier en publiant des LLMs à poids ouverts via un fine-tuning malveillant (MFT), en comparant gpt-oss avec des modèles ouverts et fermés dans les domaines de la biologie et de la cybersécurité.
NVIDIA optimise les modèles gpt-oss d’OpenAI pour une inférence à 1,5 M/TPS sur GB200 NVL72, permettant une performance Day 0 du cloud à l’edge avec les plateformes Blackwell et Hopper.
Découvrez comment les serveurs Gradio MCP permettent à un LLM d’appeler des modèles externes pour naviguer, sélectionner des vêtements et afficher des essayages virtuels via IDM-VTON, le tout intégré via VS Code AI Chat.
Découvrez comment les serveurs Gradio MCP connectent les LLM aux modèles Hugging Face pour alimenter un assistant d'achat IA qui parcourt les sites et réalise des essayages virtuels avec IDM-VTON.
Découvrez comment la télémétrie sémantique classifie les interactions humain-IA à grande échelle, dévoilant les choix d’ingénierie autour de l’agrégation, de l’optimisation des jetons et de l’orchestration pour des LLM efficaces et fiables en quasi temps réel.
Analyse approfondie de FutureBench, un benchmark qui évalue les agents IA à prédire des événements futurs à partir de sources réelles, en mettant l’accent sur le raisonnement face à l’incertitude et les résultats vérifiables.
Plongée approfondie dans Consilium, la plateforme multi-LLM qui permet aux modèles de discuter, débattre et atteindre le consensus via des serveurs MCP et une ronde visuelle Gradio.
Aperçu des améliorations du serveur MCP Gradio dans la version 5.38.0: upload de fichiers, streaming de progression, intégration API OpenAPI, gestion des en-têtes et descriptions d’outils personnalisables.
CollabLLM apprend aux LLMs à collaborer avec les utilisateurs en posant des questions de clarification et en adaptant le ton au contexte, progressant vers une IA plus centrée sur l’utilisateur et digne de confiance. Un article de Microsoft Research présente l’approche et son impact potentiel.
Argumente que la véritable AGI nécessite une compréhension incarnée du monde physique, pas seulement une intégration multimodale; les systèmes multimodaux pourraient ne pas atteindre une IA générale humaine à court terme.
BAIR de Berkeley présente StruQ et SecAlign comme défenses contre l’injection de prompts dans les applications LLM, avec Front-End Sécurisé, stratégies d’entraînement et améliorations de robustesse.
Recent advances in Large Language Models (LLMs) enable exciting LLM-integrated applications. However, as LLMs have improved, so have the attacks against them. Prompt injection attack is listed as the #1 threat by OWASP to LLM-integrated applications, where an LLM input contains a trusted prompt (ins
Le laboratoire BAIR de Berkeley présente Anthology, une méthode qui conditionne les LLMs à des personas virtuelles représentatifs, cohérents et divers en utilisant des narratifs de vie riches. L’approche est évaluée sur des enquêtes Pew et discute des implications, de l’éthique et des perspectives f
Une méthode pour guider les LLMs vers des personas virtuelles représentatifs et cohérents en générant des backstories détaillées et en les utilisant comme contexte de conditionnement, permettant des simulations individualisées et des études utilisateur à grande échelle.
Analyse comment un dialogue volontaire transforme les chatbots LLM en agents collaboratifs avec des objectifs, les limites des évaluations en une seule étape et les implications en matière de mémoire, de sécurité et d’usage réel.
Explore le dialogue orienté objectif dans les chatbots LLM, soutenant que les échanges multi-tours s'alignent mieux sur les objectifs des utilisateurs et favorisent la collaboration, notamment pour le code et les assistants personnels.
Examen rigoureux des revendications de jailbreak, des limites des bancs existants et de la refonte de l’évaluation par StrongREJECT, qui mesure à la fois la volonté et la capacité des LLMs à répondre à des prompts interdits.
Aperçu d’un benchmark de jailbreak de haute qualité avec deux évaluateurs automatisés, un ensemble de 313 prompts interdits et des résultats montrant que de nombreux jailbreaks sont moins efficaces que les revendications passées.
Une étude montre que TinyAgent permet à de petits modèles de langage d’effectuer des appels de fonction précis à la périphérie, réduisant la dépendance au cloud et la latence tout en préservant la vie privée.
Analyse approfondie sur l’application des grands modèles de langage (LLMs) aux séries temporelles financières, données multimodales et génération de données synthétiques, avec chiffres clés sur le volume de tokens, les fenêtres contextuelles et la residualisation.
Aperçu de comment les LLMs peuvent être appliqués aux marchés financiers, incluant la modélisation autoregressive des données de prix, l’intégration multimodale, la résidualisation, les données synthétiques et les prévisions sur plusieurs horizons.
Examine comment les grands modčles de langage peuvent soutenir la perception, la planification et la génération dans la conduite autonome, les défis clés et l’avenir des voitures autonomes avec les LLM.
Vue d’ensemble sur la manière dont les grands modèles de langage peuvent améliorer la conduite autonome dans la perception, la planification et la génération, avec exemples et défis.