Routing
Aussi appelé : router, intent routing, query routing, semantic routing, model routing (LLM routing), classifier-dispatch
Intention
Placez un classifieur devant plusieurs chemins spécialisés et exécutez exactement l'un d'eux pour chaque entrée. Chaque chemin a son propre prompt, ses outils, son modèle et ses garde-fous : régler un type de demande ne dégrade plus les autres. Le routeur décide une fois, puis s'efface : il ne voit jamais la réponse et ne redécide jamais.
Problème
Vous construisez l'assistant de support d'une boutique en ligne qui vend des casques et des enceintes. Les clients écrivent pour quatre raisons : les remboursements, les problèmes techniques (« mes écouteurs ne s'appairent plus depuis la dernière mise à jour »), le suivi de livraison et les questions générales sur les produits.
La première version est un seul prompt système qui couvre les quatre, avec tous les outils branchés et le plus gros modèle derrière. Chaque correction sur un sujet crée un problème ailleurs :
- Les règles débordent d'un sujet à l'autre. Vous rendez les consignes de remboursement strictes (toujours vérifier la date de commande, ne jamais promettre d'argent), et les réponses de dépannage deviennent raides et défensives.
- Le modèle appelle les mauvais outils. Avec les outils de diagnostic, de remboursement et de commande dans le même prompt, le modèle lance un diagnostic sur une question de remboursement.
- Chaque requête paie le prix fort. « Quels sont vos horaires d'ouverture ? » part vers le même modèle de pointe qu'un bug de firmware. L'article RouteLLM chiffre GPT-4 à environ 24,7 $ par million de tokens, contre 0,24 $ pour Mixtral 8x7B, soit un écart d'environ 100 fois.
- Le prompt ne fait que grossir. Plus de sujets, c'est plus de consignes et de définitions d'outils : la latence et le coût augmentent pour toutes les requêtes, y compris les plus simples.
« Building effective agents », d'Anthropic, décrit exactement ce cas : sans routing, optimiser pour un type d'entrée peut dégrader les performances sur les autres.
Solution
Découpez l'assistant en handlers spécialisés et placez devant eux une étape de classification petite et rapide. Le routeur lit le message, choisit un label dans une liste fermée, et votre code appelle le handler correspondant. Chaque handler est écrit et testé séparément.
- Classer. Le client écrit « Mes écouteurs ne s'appairent plus avec mon ordinateur depuis la dernière mise à jour. » Le routeur, un petit modèle avec un schéma de sortie structurée, renvoie
{"route": "tech_support", "confidence": 0.88}. Il ne répond pas au client. - Appliquer la politique. Le code vérifie que le label appartient à la liste fixe et compare la confiance à un seuil, par exemple 0,7. Au-dessus, la route est retenue. En dessous, ou pour
none, la requête part vers un repli : un handler généraliste, une question de clarification ou une file de traitement humain. - Distribuer. C'est le code, pas le modèle, qui appelle le handler de support technique : un grand modèle avec un prompt de dépannage et les outils
run_diagnosticsetsearch_kb. Les règles et les outils de remboursement ne figurent pas du tout dans son contexte. - Répondre et journaliser. La réponse du handler revient directement au client. La route, la confiance et la version du routeur sont journalisées pour mesurer la précision et repérer les dérives plus tard.
Une question de remboursement suit un autre chemin, avec un prompt strict et une étape d'approbation, et « quels sont vos horaires d'ouverture ? » va vers un petit modèle avec une recherche dans la FAQ. Ce découpage réduit aussi les coûts, car seules les demandes difficiles atteignent le grand modèle.
Qui décide du déroulé
Le développeur décide quels chemins existent. Le routeur décide, une seule fois, quel chemin prend cette requête. Le handler décide comment résoudre la tâche. Comme l'ensemble des routes est fixé dans le code, le routing est un workflow et non un agent, au sens où Anthropic emploie ces termes.
Le mot « routeur » désigne aussi deux autres conceptions, qui se passent le contrôle différemment. Le tableau ci-dessous montre comment ce site les distingue.
| Pattern | Qui décide | Quand | Le contrôle revient-il à celui qui décide ? |
|---|---|---|---|
| Routeur (cette page) | Une étape de classification dédiée : LLM, embeddings, petit modèle ou règles | Une fois par requête | Non. La sortie du handler est la réponse. |
| Supervisor | Un agent manager | À chaque étape | Oui. Les workers rendent compte et le superviseur choisit l'étape suivante. |
| Handoff | L'agent actif à ce moment | Dès qu'il juge qu'un pair est mieux placé | Non. L'agent qui reçoit reprend la conversation. |
Les produits appelés « triage agent » (OpenAI Agents SDK) ou « coordinator » (Google ADK) relèvent surtout du handoff : un agent complet transfère la conversation en appelant un outil transfer_to_*, et les tours suivants peuvent rester chez le spécialiste ou repartir ailleurs.
Analogie
L'infirmière d'accueil et d'orientation aux urgences. Elle pose quelques questions, attribue une catégorie et oriente le patient vers les urgences, le médecin généraliste ou la pharmacie. Elle ne soigne personne et ne suit pas le patient en salle de consultation. Les services sont les handlers, la liste des services est l'ensemble des routes, et « je ne sais pas, attendez le médecin de garde » est la route de repli.
L'analogie a ses limites. Une infirmière qui voit l'état d'un patient s'aggraver en salle d'attente le réoriente. Un routeur simple n'a pas ce second regard : une fois la requête distribuée, une erreur d'aiguillage le reste, sauf si le handler s'en aperçoit et que vous avez prévu un chemin de retour.
Structure
- Routeur. Associe la requête (et éventuellement une courte fenêtre d'historique) à un label du registre des routes, avec une confiance et parfois des paramètres extraits, comme un numéro de commande. Ce peut être un LLM à sortie structurée, une comparaison d'embeddings, un petit classifieur fine-tuné ou de simples règles. Les descriptions des routes sont sa documentation : la qualité de la sélection en dépend.
- Politique de décision. Seuils, départage des ex aequo, route
none, limites de budget. Elle vit dans le code, pas dans le prompt, pour pouvoir être testée et modifiée sans toucher au modèle. - Handlers. Les chemins spécialisés. Chacun a son propre prompt, ses outils, son modèle, sa température et ses garde-fous, et peut aller d'un simple template de prompt à un index RAG, une chaîne ou un agent complet.
- Repli. La destination des requêtes à faible confiance ou hors périmètre : un handler généraliste, une unique question de clarification ou une file de traitement humain.
- Journal des décisions. Pour chaque requête : empreinte de l'entrée, route, confiance, version du routeur, latence et résultat en aval. Il sert à l'évaluation et à repérer les dérives.
Générateur de prompt
Décrivez vos routes et le générateur écrit deux choses : un prompt système pour le modèle routeur (classification seule, sortie fermée) et la politique de distribution que votre code doit appliquer à sa réponse. Utilisez le prompt avec n'importe quel modèle qui gère la sortie structurée, par exemple comme nœud routeur d'un graphe LangGraph ou dans une méthode @router de CrewAI.
Prompt généré
Le texte surligné vient du formulaire. Le texte [entre crochets] reste à remplir.
La qualité d'un routeur dépend moins des consignes que de la netteté des descriptions de routes et des exemples fournis pour les paires souvent confondues. Le guide d'Anthropic sur le routage de tickets indique qu'ajouter au prompt des exemples étiquetés retrouvés par recherche a fait passer la précision de 71 % à 93 % ; ce chiffre vient du cookbook d'Anthropic lui-même et n'a pas été reproduit de façon indépendante. Constituez un jeu de test étiqueté avant de retoucher la formulation.
Quand l'utiliser
À utiliser quand
- Les entrées se répartissent en catégories distinctes qui demandent un traitement différent. Des prompts, outils, modèles ou politiques différents, et un annotateur humain tomberait d'accord sur le label.
- Vous savez classer avec précision. Anthropic en fait une condition préalable. Mesurez-la sur du trafic réel avant de construire les handlers.
- La difficulté varie et les prix des modèles diffèrent beaucoup. Le model routing envoie les requêtes faciles vers un modèle bon marché. Les gains dépendent de la complémentarité des modèles candidats.
- Vous avez plusieurs sources de données ou beaucoup d'outils. Les interroger toutes est lent et bruité ; choisir un seul index ou un sous-ensemble d'outils coûte moins cher.
- Vous voulez isoler le risque. Les demandes de remboursement peuvent passer par un chemin très encadré avec une validation (Human-in-the-Loop) pendant que les réponses de FAQ restent rapides.
À éviter quand
- Les catégories se recoupent ou la plupart des requêtes mêlent plusieurs intentions. Utilisez un seul agent compétent, un routing multi-label ou un Supervisor.
- Le bon spécialiste n'apparaît qu'en cours de conversation. Utilisez des handoffs ou un superviseur qui redécide à chaque tour. La documentation de LangChain prévient qu'un routeur avec état, qui porte tout l'historique, est difficile à mettre au point.
- La tâche doit être découpée en sous-tâches que vous ne pouvez pas lister à l'avance. Utilisez Orchestrator–Workers ou Plan-and-Execute ; le routing ne fait que choisir parmi des chemins prédéfinis.
- Un seul handler suffirait. Un bon modèle unique avec un bon prompt peut faire mieux qu'un routeur et trois spécialistes, une fois comptés les erreurs d'aiguillage, la latence et la maintenance.
- Le trafic est de difficulté homogène. Les économies du model routing fondent quand il y a peu de requêtes faciles à envoyer au modèle bon marché.
Mise en œuvre
- Commencez par collecter des entrées réelles. Récupérez quelques centaines de messages ou de tickets passés et regardez comment ils sont triés aujourd'hui.
- Concevez la taxonomie. Les routes doivent être assez distinctes pour que deux annotateurs tombent d'accord. Fusionnez les routes dont les handlers seraient presque identiques. Le guide d'Anthropic sur le routage de tickets suggère une hiérarchie (un classifieur de premier niveau, puis des sous-classifieurs) au-delà d'environ 20 intentions, au prix d'un saut supplémentaire.
- Étiquetez un jeu d'évaluation. Couvrez chaque route et incluez des messages volontairement ambigus ou hors périmètre, étiquetés
none. - Choisissez le routeur le moins coûteux qui atteint votre objectif de précision. Voir le tableau ci-dessous. Beaucoup de systèmes les empilent : des règles d'abord, puis des embeddings, et un LLM seulement pour les cas incertains restants.
- Fermez la sortie. Utilisez un enum ou un type
Literalpour la route, afin que le modèle ne puisse pas inventer de noms, et prévoyez toujours une optionnone. Si vous voulez qu'une courte justification éclaire le label, placez le champ de raisonnement avant le champ de route. - Écrivez la politique de décision dans le code. Seuil, repli, au plus une question de clarification, timeouts avec une route par défaut, et journalisation.
- Construisez et testez chaque handler séparément. C'est le principal bénéfice : modifier le prompt de remboursement ne peut plus casser le dépannage.
- Évaluez de bout en bout, puis surveillez. Regardez la matrice de confusion, puis le taux de réussite, le coût et la latence par route. En production, suivez la répartition des routes, le taux de repli et la fréquence des réaiguillages.
| Type de routeur | Latence et coût | Points forts | Points faibles |
|---|---|---|---|
| Règles, mots-clés, métadonnées | Quasi nuls | Déterministe, gratuit, auditable | Paraphrases et autres langues |
| Similarité d'embeddings avec des énoncés d'exemple | Quelques millisecondes | Ajouter une route revient à ajouter des exemples | Seuil à régler ; faible sur la négation et les longues entrées à plusieurs intentions |
| Petit classifieur fine-tuné (type BERT) | Quelques millisecondes, auto-hébergé | Scores calibrés, peu coûteux à grande échelle | Demande des données étiquetées et un réentraînement quand les routes changent |
| Petit LLM entraîné pour le routing | Arch-Router (1,5B) annoncé à environ 51 ms | Lit les descriptions de routes et le contexte multi-tours | Vous devez l'héberger |
| LLM généraliste à sortie structurée | Un appel de plus ; l'article Arch-Router a mesuré de 0,8 à 1,5 s pour GPT-4o et Claude 3.7 Sonnet utilisés comme routeurs | Zero-shot, gère les nuances, justifie son choix | Le plus lent, consomme des tokens, peut être incohérent |
Dans les frameworks, le routing prend en général la forme d'une arête conditionnelle plutôt que d'une classe dédiée. LangGraph utilise add_conditional_edges avec un nœud routeur à sortie structurée (ou Send pour plusieurs routes). LlamaIndex propose RouterQueryEngine avec des sélecteurs simples ou multiples. CrewAI Flows offre @router avec @listen("label"). semantic-router, d'Aurelio, compare l'entrée à des énoncés d'exemple. L'Agents SDK d'OpenAI et Google ADK expriment plutôt le triage sous forme de handoffs.
Mise en garde. Les API évoluent. semantic-router a renommé ses classes principales et ses paramètres de seuil entre les versions 0.x et 1.x, et l'affirmation selon laquelle la 1.x choisit toujours la meilleure route en l'absence de seuil provient d'extraits de recherche de pages qui ne se chargent plus (non vérifié). Agent Squad est passé de awslabs à 2fastlabs. Vérifiez la documentation à jour avant de copier du code.
Variantes
Intent routing
La forme classique décrite sur cette page : associer une requête à un prompt, une chaîne ou un agent spécialisé. L'exemple d'Anthropic sépare questions générales, remboursements et support technique.
Query routing pour le RAG
Choisir quel index, quel retriever ou quel outil répond à une question. Le RouterQueryEngine de LlamaIndex peut choisir entre un index de résumé pour « résume ce document » et un index vectoriel pour les recherches précises. Le tutoriel Adaptive RAG de LangGraph aiguille entre un vector store local et une recherche web.
Model routing
Choisir quel modèle répond, avant toute génération : les requêtes faciles vers un petit modèle, les difficiles vers un grand. RouteLLM (LMSYS) entraîne un prédicteur qui estime si le modèle fort l'emporterait sur une requête, et envoie au modèle faible en dessous d'un seuil. Sur son blog, LMSYS annonce, par rapport à un usage systématique de GPT-4, des réductions de coût de plus de 85 % sur MT Bench, d'environ 45 % sur MMLU et d'environ 35 % sur GSM8K, tout en conservant 95 % de la qualité de GPT-4. Ce sont des chiffres de recherche sur des modèles de 2024. Un blog communautaire de Microsoft n'a mesuré qu'environ 4,5 à 14 % d'économies avec le model router de Foundry sur un test de 10 prompts, ce qui montre à quel point le résultat dépend de la charge. Parmi les offres managées figure l'Auto Router d'OpenRouter ; les économies annoncées par les fournisseurs sont autodéclarées.
Cascades
Lancer d'abord le modèle bon marché, faire juger la réponse par un évaluateur et escalader si elle est insuffisante. FrugalGPT et AutoMix fonctionnent ainsi. Les décisions sont mieux informées, puisqu'une réponse existe déjà, mais chaque escalade coûte des générations supplémentaires. C'est un hybride avec Evaluator–Optimizer, et RouterBench a constaté que les cascades ne battaient les références que tant que le taux d'erreur du juge restait sous environ 0,1.
Routing hiérarchique
Un classifieur de premier niveau choisit une grande catégorie, puis un sous-classifieur l'affine. Utile au-delà d'environ 20 intentions (guide d'Anthropic), au prix d'un saut par niveau. À ne pas confondre avec les hierarchical teams, où les managers gardent le contrôle.
Routing multi-label
Le routeur choisit plusieurs handlers, qui s'exécutent en parallèle, et une étape de synthèse fusionne les résultats. Le pattern router de LangChain renvoie pour cela une liste d'objets Send. Il recoupe Parallelization, à ceci près que les branches sont choisies pour chaque entrée.
Tool routing
Avec des centaines d'outils, sélectionner un sous-ensemble avant que l'agent ne les voie. Le Tool Search Tool d'Anthropic diffère le chargement de la plupart des définitions d'outils et laisse le modèle les rechercher ; Anthropic annonce une réduction de 85 % des tokens chargés d'emblée. Ici, c'est l'agent qui déclenche la recherche : c'est donc un hybride avec la boucle d'appels d'outils.
Router le simple, superviser le complexe
La collaboration multi-agent d'AWS Bedrock propose un mode « supervisor with routing » : les requêtes simples vont directement à un sous-agent, tandis que les requêtes complexes ou ambiguës basculent en mode superviseur complet.
Avantages et inconvénients
Avantages
- Chaque handler peut être réglé et testé isolément : une correction sur une catégorie ne fait pas régresser les autres.
- Les requêtes peu coûteuses le restent : seules les requêtes difficiles ou risquées atteignent le grand modèle ou le chemin encadré.
- Facile à déboguer : chaque décision est un seul label journalisé avec une confiance, tiré d'un ensemble fermé.
- Les routeurs appris ne coûtent presque rien à l'exécution. RouteLLM a mesuré environ 3 à 5 $ par million de requêtes pour la plupart de ses routeurs.
- Les catégories risquées peuvent avoir leurs propres garde-fous et leurs propres validations.
Inconvénients
- Les erreurs d'aiguillage sont silencieuses. Le handler ne sait généralement pas qu'il a reçu la mauvaise requête et répond avec assurance.
- Un routeur LLM ajoute un appel avant chaque réponse, de quelques millisecondes pour des embeddings à plus d'une seconde pour un grand modèle.
- Les routeurs ne voient souvent que le dernier message, si bien que les relances courtes comme « oui, fais ça » sont mal aiguillées.
- La taxonomie demande de l'entretien. Nouveaux produits et nouvelles formulations provoquent des dérives, et les classifieurs entraînés doivent être réentraînés quand les routes changent.
- Les économies du model routing dépendent fortement de la charge et sont souvent inférieures à ce qu'annoncent les fournisseurs.
Modes de défaillance
- Erreur de classification
-
Une demande de remboursement atterrit au support technique, qui lance un diagnostic et répond avec la mauvaise politique. Aucune erreur n'est levée : vous ne le voyez que dans les taux de réaiguillage ou les réclamations.
Parade : un jeu d'évaluation étiqueté et une matrice de confusion, des exemples few-shot pour les paires souvent confondues, des exemples similaires retrouvés par recherche dans le prompt, et une hiérarchie pour les grandes taxonomies.
- Choix forcé sur une entrée hors périmètre
-
Le routeur choisit toujours quelque chose, si bien que « pouvez-vous m'écrire un poème ? » finit dans le handler de FAQ.
Parade : une route explicite
noneouother, un seuil de confiance et un handler généraliste par défaut. - Confiance mal calibrée
-
Un routeur LLM peut annoncer une confiance de 0,9 sur des requêtes qu'il classe mal, si bien qu'un seuil de 0,7 ne filtre pas ce que vous attendez. Les preuves sont indirectes : les praticiens constatent largement que la confiance autodéclarée est mal calibrée et recommandent de ne pas s'y fier telle quelle.
Parade : utilisez les log-probabilités des tokens, l'accord entre plusieurs échantillons ou la probabilité d'un classifieur, et calibrez le seuil sur des données mises de côté (
fitde semantic-router,calibrate_thresholdde RouteLLM). - Demandes multiples et implicites
-
« Toujours rien après deux semaines, je veux être remboursé » n'est lu que pour l'un de ses deux problèmes, ou « toujours rien dans ma boîte aux lettres » n'est pas reconnu comme une question de livraison. Un ton énervé est classé comme une réclamation.
Parade : une règle de priorité dans le prompt, des exemples de demandes implicites, une consigne de s'attacher à l'intention plutôt qu'à l'émotion, un routing multi-label si les deux problèmes doivent être traités, ou une question de clarification.
- Relances sans contexte
-
« Oui, fais ça » est aiguillé sans savoir à quoi « ça » renvoie.
Parade : transmettez une courte fenêtre d'historique au routeur, utilisez un routeur qui tient compte de la conversation, ou laissez les relances au handler en cours (sémantique de handoff).
- Dérive et prolifération des routes
-
Une nouvelle gamme de produits ou un problème saisonnier apparaît, la précision se dégrade, et l'on ajoute des routes jusqu'à ce que leurs descriptions se chevauchent.
Parade : surveillez la répartition des routes et le taux de
none, réétiquetez régulièrement des échantillons, fusionnez les routes similaires, et traitez toute modification d'une description de route comme un changement de modèle qui demande un test de non-régression. - Un routeur de modèles réglé sur des benchmarks échoue sur votre trafic
-
Les routeurs de RouteLLM entraînés uniquement sur les données de Chatbot Arena étaient à peu près au niveau du hasard sur MMLU, et légèrement en dessous sur GSM8K.
Parade : calibrez et évaluez sur votre propre trafic, et ajoutez des labels du domaine ; LMSYS indique qu'environ 1 500 échantillons MMLU étiquetés ont nettement aidé.
- Réaiguillage malveillant
-
Des attaquants ajoutent du texte qui pousse des requêtes du niveau bon marché vers le modèle coûteux. Dans l'article « Rerouting LLM Routers », des attaques en boîte blanche ont fait monter de niveau 73 à 100 % des requêtes destinées au modèle faible, l'attaque s'est transférée en boîte noire, et le filtrage par perplexité ne l'a pas arrêtée.
Parade : traitez le routing comme une frontière de sécurité dès que le coût ou les permissions diffèrent selon la route. Imposez des limites de débit et des budgets par utilisateur sur les routes coûteuses, surveillez les anomalies dans la répartition des routes, et ne laissez jamais la seule décision de routing accorder des privilèges.
- Le routeur, point de défaillance unique
-
Une panne ou un timeout du routeur bloque tout le trafic.
Parade : un timeout avec une route par défaut, et un routeur de repli déterministe et peu coûteux.
Liens avec les autres patterns
- Prompt Chaining : un routeur est souvent la première étape devant plusieurs chaînes. Une porte à deux issues à l'intérieur d'une chaîne est un routeur minuscule.
- Parallelization : exécute plusieurs branches choisies à l'avance par le développeur. Le routing multi-label se situe entre les deux, avec un classifieur qui choisit les branches pour chaque entrée.
- Evaluator–Optimizer : les cascades lui empruntent son évaluateur pour décider s'il faut escalader. Le routing proprement dit décide avant qu'aucune réponse n'existe.
- ReAct (tool-use loop) : un agent route en pratique à chaque tour quand il choisit un outil. Le tool routing restreint son jeu d'outils.
- Plan-and-Execute : un routeur placé devant un planificateur peut envoyer les requêtes triviales vers un handler bon marché et sauter la planification.
- Orchestrator–Workers : l'orchestrateur invente des sous-tâches à l'exécution et fusionne leurs résultats. Un routeur ne fait que choisir parmi des chemins prédéfinis et ne voit jamais le résultat.
- Supervisor : le pattern le plus souvent confondu avec le routing. Un superviseur redécide après chaque étape d'un worker et reçoit les résultats ; un routeur décide une fois.
- Hierarchical teams : le routing hiérarchique est un arbre de classifieurs qui décident chacun une fois ; les hierarchical teams sont des arbres de managers qui gardent le contrôle.
- Swarm / Handoffs : un « triage agent » qui appelle
transfer_to_<agent>fait un handoff. L'agent qui reçoit garde la conversation et peut la transférer à nouveau. - Group Chat : son sélecteur d'orateur est un routeur qui se déclenche à chaque message, sur une transcription partagée.
- Blackboard : son composant de contrôle choisit lui aussi qui agit ensuite, mais il relit sans cesse un espace de travail partagé au lieu de classer une seule requête.
- Council / Debate : le choix inverse. Un council envoie volontairement la même question à plusieurs membres ; un routeur l'envoie à un seul.
- Human-in-the-Loop : une file de traitement humain est une route de repli naturelle, et les routes risquées peuvent comporter des validations.
Pour aller plus loin
Toutes les sources ci-dessous sont en anglais.
- Building effective agents (Anthropic) : la définition du workflow de routing et les cas où il convient.
- Ticket routing (documentation Anthropic) : un routeur LLM complet pour des tickets de support, avec la structure du prompt, les objectifs de réussite et l'évaluation.
- Router (documentation LangChain) : routeurs avec et sans état, distribution vers plusieurs routes, et quand passer aux handoffs ou aux sous-agents.
- RouteLLM: Learning to Route LLMs with Preference Data (Ong et al., LMSYS / UC Berkeley) : le model routing, les métriques coût-qualité et la généralisation des routeurs.
- Doing More with Less: A Survey on Routing Strategies (Varangot-Reille et al.) : routing avant génération contre cascades, et les familles de routeurs.
- Rerouting LLM Routers (Shafran et al.) : comment les routeurs peuvent être manipulés, et pourquoi le routing est une frontière de sécurité.