Routing

Aussi appelé : router, intent routing, query routing, semantic routing, model routing (LLM routing), classifier-dispatch

Intention

Placez un classifieur devant plusieurs chemins spécialisés et exécutez exactement l'un d'eux pour chaque entrée. Chaque chemin a son propre prompt, ses outils, son modèle et ses garde-fous : régler un type de demande ne dégrade plus les autres. Le routeur décide une fois, puis s'efface : il ne voit jamais la réponse et ne redécide jamais.

Problème

Vous construisez l'assistant de support d'une boutique en ligne qui vend des casques et des enceintes. Les clients écrivent pour quatre raisons : les remboursements, les problèmes techniques (« mes écouteurs ne s'appairent plus depuis la dernière mise à jour »), le suivi de livraison et les questions générales sur les produits.

La première version est un seul prompt système qui couvre les quatre, avec tous les outils branchés et le plus gros modèle derrière. Chaque correction sur un sujet crée un problème ailleurs :

« Building effective agents », d'Anthropic, décrit exactement ce cas : sans routing, optimiser pour un type d'entrée peut dégrader les performances sur les autres.

Quatre types de messages clients différents arrivent tous dans un seul prompt de support qui contient toutes les règles et tous les outils, et les réponses en pâtissent. Je veux être remboursé Appairage impossible Où est mon colis ? Quels sont vos horaires ? Un seul prompt support toutes règles, tous outils remboursements + dépannage + suivi + FAQ grand modèle pour tout Réponses diagnostic sur un retour dépannage plus rigide FAQ payées au prix fort corriger casse ailleurs
Un seul prompt pour tous les types de demandes : les règles et les outils de chaque sujet gênent les autres, et les questions faciles coûtent autant que les difficiles.

Solution

Découpez l'assistant en handlers spécialisés et placez devant eux une étape de classification petite et rapide. Le routeur lit le message, choisit un label dans une liste fermée, et votre code appelle le handler correspondant. Chaque handler est écrit et testé séparément.

  1. Classer. Le client écrit « Mes écouteurs ne s'appairent plus avec mon ordinateur depuis la dernière mise à jour. » Le routeur, un petit modèle avec un schéma de sortie structurée, renvoie {"route": "tech_support", "confidence": 0.88}. Il ne répond pas au client.
  2. Appliquer la politique. Le code vérifie que le label appartient à la liste fixe et compare la confiance à un seuil, par exemple 0,7. Au-dessus, la route est retenue. En dessous, ou pour none, la requête part vers un repli : un handler généraliste, une question de clarification ou une file de traitement humain.
  3. Distribuer. C'est le code, pas le modèle, qui appelle le handler de support technique : un grand modèle avec un prompt de dépannage et les outils run_diagnostics et search_kb. Les règles et les outils de remboursement ne figurent pas du tout dans son contexte.
  4. Répondre et journaliser. La réponse du handler revient directement au client. La route, la confiance et la version du routeur sont journalisées pour mesurer la précision et repérer les dérives plus tard.

Une question de remboursement suit un autre chemin, avec un prompt strict et une étape d'approbation, et « quels sont vos horaires d'ouverture ? » va vers un petit modèle avec une recherche dans la FAQ. Ce découpage réduit aussi les coûts, car seules les demandes difficiles atteignent le grand modèle.

Qui décide du déroulé

Le développeur décide quels chemins existent. Le routeur décide, une seule fois, quel chemin prend cette requête. Le handler décide comment résoudre la tâche. Comme l'ensemble des routes est fixé dans le code, le routing est un workflow et non un agent, au sens où Anthropic emploie ces termes.

Le mot « routeur » désigne aussi deux autres conceptions, qui se passent le contrôle différemment. Le tableau ci-dessous montre comment ce site les distingue.

Trois conceptions que l'on appelle toutes « routing » quelque part
PatternQui décideQuandLe contrôle revient-il à celui qui décide ?
Routeur (cette page)Une étape de classification dédiée : LLM, embeddings, petit modèle ou règlesUne fois par requêteNon. La sortie du handler est la réponse.
SupervisorUn agent managerÀ chaque étapeOui. Les workers rendent compte et le superviseur choisit l'étape suivante.
HandoffL'agent actif à ce momentDès qu'il juge qu'un pair est mieux placéNon. L'agent qui reçoit reprend la conversation.

Les produits appelés « triage agent » (OpenAI Agents SDK) ou « coordinator » (Google ADK) relèvent surtout du handoff : un agent complet transfère la conversation en appelant un outil transfer_to_*, et les tours suivants peuvent rester chez le spécialiste ou repartir ailleurs.

Analogie

L'infirmière d'accueil et d'orientation aux urgences. Elle pose quelques questions, attribue une catégorie et oriente le patient vers les urgences, le médecin généraliste ou la pharmacie. Elle ne soigne personne et ne suit pas le patient en salle de consultation. Les services sont les handlers, la liste des services est l'ensemble des routes, et « je ne sais pas, attendez le médecin de garde » est la route de repli.

L'analogie a ses limites. Une infirmière qui voit l'état d'un patient s'aggraver en salle d'attente le réoriente. Un routeur simple n'a pas ce second regard : une fois la requête distribuée, une erreur d'aiguillage le reste, sauf si le handler s'en aperçoit et que vous avez prévu un chemin de retour.

Structure

Une requête arrive à un routeur qui renvoie un label et une confiance, une politique dans le code la distribue à l'un des quatre handlers ou à un repli, la réponse du handler va directement à l'appelant, et la décision est journalisée. Requête + historique Routeur label + confiance enum fermée Politique seuil dans le code Journal route + confiance Remboursement grand modèle + outils Support technique outils de diagnostic Suivi de commande petit modèle, API suivi FAQ générale petit modèle + index FAQ Repli question, général, humain Réponse à l'appelant 1 2 3 4 5
La ligne d'accent est le chemin suivi par la question d'appairage. Les lignes pleines portent la requête, les lignes en pointillés portent les résultats et les journaux. Aucune ligne ne revient au routeur : il ne voit jamais la réponse.
  1. Routeur. Associe la requête (et éventuellement une courte fenêtre d'historique) à un label du registre des routes, avec une confiance et parfois des paramètres extraits, comme un numéro de commande. Ce peut être un LLM à sortie structurée, une comparaison d'embeddings, un petit classifieur fine-tuné ou de simples règles. Les descriptions des routes sont sa documentation : la qualité de la sélection en dépend.
  2. Politique de décision. Seuils, départage des ex aequo, route none, limites de budget. Elle vit dans le code, pas dans le prompt, pour pouvoir être testée et modifiée sans toucher au modèle.
  3. Handlers. Les chemins spécialisés. Chacun a son propre prompt, ses outils, son modèle, sa température et ses garde-fous, et peut aller d'un simple template de prompt à un index RAG, une chaîne ou un agent complet.
  4. Repli. La destination des requêtes à faible confiance ou hors périmètre : un handler généraliste, une unique question de clarification ou une file de traitement humain.
  5. Journal des décisions. Pour chaque requête : empreinte de l'entrée, route, confiance, version du routeur, latence et résultat en aval. Il sert à l'évaluation et à repérer les dérives.

Générateur de prompt

Décrivez vos routes et le générateur écrit deux choses : un prompt système pour le modèle routeur (classification seule, sortie fermée) et la politique de distribution que votre code doit appliquer à sa réponse. Utilisez le prompt avec n'importe quel modèle qui gère la sortie structurée, par exemple comme nœud routeur d'un graphe LangGraph ou dans une méthode @router de CrewAI.

Routes une ligne par route ; une route « none » est ajoutée automatiquement
Confiance faible ou none
Format de sortie

Prompt généré

Le texte surligné vient du formulaire. Le texte [entre crochets] reste à remplir.

Les descriptions de routes font l'essentiel du travail

La qualité d'un routeur dépend moins des consignes que de la netteté des descriptions de routes et des exemples fournis pour les paires souvent confondues. Le guide d'Anthropic sur le routage de tickets indique qu'ajouter au prompt des exemples étiquetés retrouvés par recherche a fait passer la précision de 71 % à 93 % ; ce chiffre vient du cookbook d'Anthropic lui-même et n'a pas été reproduit de façon indépendante. Constituez un jeu de test étiqueté avant de retoucher la formulation.

Quand l'utiliser

À utiliser quand

À éviter quand

Mise en œuvre

  1. Commencez par collecter des entrées réelles. Récupérez quelques centaines de messages ou de tickets passés et regardez comment ils sont triés aujourd'hui.
  2. Concevez la taxonomie. Les routes doivent être assez distinctes pour que deux annotateurs tombent d'accord. Fusionnez les routes dont les handlers seraient presque identiques. Le guide d'Anthropic sur le routage de tickets suggère une hiérarchie (un classifieur de premier niveau, puis des sous-classifieurs) au-delà d'environ 20 intentions, au prix d'un saut supplémentaire.
  3. Étiquetez un jeu d'évaluation. Couvrez chaque route et incluez des messages volontairement ambigus ou hors périmètre, étiquetés none.
  4. Choisissez le routeur le moins coûteux qui atteint votre objectif de précision. Voir le tableau ci-dessous. Beaucoup de systèmes les empilent : des règles d'abord, puis des embeddings, et un LLM seulement pour les cas incertains restants.
  5. Fermez la sortie. Utilisez un enum ou un type Literal pour la route, afin que le modèle ne puisse pas inventer de noms, et prévoyez toujours une option none. Si vous voulez qu'une courte justification éclaire le label, placez le champ de raisonnement avant le champ de route.
  6. Écrivez la politique de décision dans le code. Seuil, repli, au plus une question de clarification, timeouts avec une route par défaut, et journalisation.
  7. Construisez et testez chaque handler séparément. C'est le principal bénéfice : modifier le prompt de remboursement ne peut plus casser le dépannage.
  8. Évaluez de bout en bout, puis surveillez. Regardez la matrice de confusion, puis le taux de réussite, le coût et la latence par route. En production, suivez la répartition des routes, le taux de repli et la fréquence des réaiguillages.
Implémentations de routeur (chiffres de latence tirés des sources citées)
Type de routeurLatence et coûtPoints fortsPoints faibles
Règles, mots-clés, métadonnéesQuasi nulsDéterministe, gratuit, auditableParaphrases et autres langues
Similarité d'embeddings avec des énoncés d'exempleQuelques millisecondesAjouter une route revient à ajouter des exemplesSeuil à régler ; faible sur la négation et les longues entrées à plusieurs intentions
Petit classifieur fine-tuné (type BERT)Quelques millisecondes, auto-hébergéScores calibrés, peu coûteux à grande échelleDemande des données étiquetées et un réentraînement quand les routes changent
Petit LLM entraîné pour le routingArch-Router (1,5B) annoncé à environ 51 msLit les descriptions de routes et le contexte multi-toursVous devez l'héberger
LLM généraliste à sortie structuréeUn appel de plus ; l'article Arch-Router a mesuré de 0,8 à 1,5 s pour GPT-4o et Claude 3.7 Sonnet utilisés comme routeursZero-shot, gère les nuances, justifie son choixLe plus lent, consomme des tokens, peut être incohérent

Dans les frameworks, le routing prend en général la forme d'une arête conditionnelle plutôt que d'une classe dédiée. LangGraph utilise add_conditional_edges avec un nœud routeur à sortie structurée (ou Send pour plusieurs routes). LlamaIndex propose RouterQueryEngine avec des sélecteurs simples ou multiples. CrewAI Flows offre @router avec @listen("label"). semantic-router, d'Aurelio, compare l'entrée à des énoncés d'exemple. L'Agents SDK d'OpenAI et Google ADK expriment plutôt le triage sous forme de handoffs.

Mise en garde. Les API évoluent. semantic-router a renommé ses classes principales et ses paramètres de seuil entre les versions 0.x et 1.x, et l'affirmation selon laquelle la 1.x choisit toujours la meilleure route en l'absence de seuil provient d'extraits de recherche de pages qui ne se chargent plus (non vérifié). Agent Squad est passé de awslabs à 2fastlabs. Vérifiez la documentation à jour avant de copier du code.

Variantes

Intent routing

La forme classique décrite sur cette page : associer une requête à un prompt, une chaîne ou un agent spécialisé. L'exemple d'Anthropic sépare questions générales, remboursements et support technique.

Query routing pour le RAG

Choisir quel index, quel retriever ou quel outil répond à une question. Le RouterQueryEngine de LlamaIndex peut choisir entre un index de résumé pour « résume ce document » et un index vectoriel pour les recherches précises. Le tutoriel Adaptive RAG de LangGraph aiguille entre un vector store local et une recherche web.

Model routing

Choisir quel modèle répond, avant toute génération : les requêtes faciles vers un petit modèle, les difficiles vers un grand. RouteLLM (LMSYS) entraîne un prédicteur qui estime si le modèle fort l'emporterait sur une requête, et envoie au modèle faible en dessous d'un seuil. Sur son blog, LMSYS annonce, par rapport à un usage systématique de GPT-4, des réductions de coût de plus de 85 % sur MT Bench, d'environ 45 % sur MMLU et d'environ 35 % sur GSM8K, tout en conservant 95 % de la qualité de GPT-4. Ce sont des chiffres de recherche sur des modèles de 2024. Un blog communautaire de Microsoft n'a mesuré qu'environ 4,5 à 14 % d'économies avec le model router de Foundry sur un test de 10 prompts, ce qui montre à quel point le résultat dépend de la charge. Parmi les offres managées figure l'Auto Router d'OpenRouter ; les économies annoncées par les fournisseurs sont autodéclarées.

Cascades

Lancer d'abord le modèle bon marché, faire juger la réponse par un évaluateur et escalader si elle est insuffisante. FrugalGPT et AutoMix fonctionnent ainsi. Les décisions sont mieux informées, puisqu'une réponse existe déjà, mais chaque escalade coûte des générations supplémentaires. C'est un hybride avec Evaluator–Optimizer, et RouterBench a constaté que les cascades ne battaient les références que tant que le taux d'erreur du juge restait sous environ 0,1.

Routing hiérarchique

Un classifieur de premier niveau choisit une grande catégorie, puis un sous-classifieur l'affine. Utile au-delà d'environ 20 intentions (guide d'Anthropic), au prix d'un saut par niveau. À ne pas confondre avec les hierarchical teams, où les managers gardent le contrôle.

Routing multi-label

Le routeur choisit plusieurs handlers, qui s'exécutent en parallèle, et une étape de synthèse fusionne les résultats. Le pattern router de LangChain renvoie pour cela une liste d'objets Send. Il recoupe Parallelization, à ceci près que les branches sont choisies pour chaque entrée.

Tool routing

Avec des centaines d'outils, sélectionner un sous-ensemble avant que l'agent ne les voie. Le Tool Search Tool d'Anthropic diffère le chargement de la plupart des définitions d'outils et laisse le modèle les rechercher ; Anthropic annonce une réduction de 85 % des tokens chargés d'emblée. Ici, c'est l'agent qui déclenche la recherche : c'est donc un hybride avec la boucle d'appels d'outils.

Router le simple, superviser le complexe

La collaboration multi-agent d'AWS Bedrock propose un mode « supervisor with routing » : les requêtes simples vont directement à un sous-agent, tandis que les requêtes complexes ou ambiguës basculent en mode superviseur complet.

Avantages et inconvénients

Avantages

  • Chaque handler peut être réglé et testé isolément : une correction sur une catégorie ne fait pas régresser les autres.
  • Les requêtes peu coûteuses le restent : seules les requêtes difficiles ou risquées atteignent le grand modèle ou le chemin encadré.
  • Facile à déboguer : chaque décision est un seul label journalisé avec une confiance, tiré d'un ensemble fermé.
  • Les routeurs appris ne coûtent presque rien à l'exécution. RouteLLM a mesuré environ 3 à 5 $ par million de requêtes pour la plupart de ses routeurs.
  • Les catégories risquées peuvent avoir leurs propres garde-fous et leurs propres validations.

Inconvénients

  • Les erreurs d'aiguillage sont silencieuses. Le handler ne sait généralement pas qu'il a reçu la mauvaise requête et répond avec assurance.
  • Un routeur LLM ajoute un appel avant chaque réponse, de quelques millisecondes pour des embeddings à plus d'une seconde pour un grand modèle.
  • Les routeurs ne voient souvent que le dernier message, si bien que les relances courtes comme « oui, fais ça » sont mal aiguillées.
  • La taxonomie demande de l'entretien. Nouveaux produits et nouvelles formulations provoquent des dérives, et les classifieurs entraînés doivent être réentraînés quand les routes changent.
  • Les économies du model routing dépendent fortement de la charge et sont souvent inférieures à ce qu'annoncent les fournisseurs.

Modes de défaillance

Erreur de classification

Une demande de remboursement atterrit au support technique, qui lance un diagnostic et répond avec la mauvaise politique. Aucune erreur n'est levée : vous ne le voyez que dans les taux de réaiguillage ou les réclamations.

Parade : un jeu d'évaluation étiqueté et une matrice de confusion, des exemples few-shot pour les paires souvent confondues, des exemples similaires retrouvés par recherche dans le prompt, et une hiérarchie pour les grandes taxonomies.

Choix forcé sur une entrée hors périmètre

Le routeur choisit toujours quelque chose, si bien que « pouvez-vous m'écrire un poème ? » finit dans le handler de FAQ.

Parade : une route explicite none ou other, un seuil de confiance et un handler généraliste par défaut.

Confiance mal calibrée

Un routeur LLM peut annoncer une confiance de 0,9 sur des requêtes qu'il classe mal, si bien qu'un seuil de 0,7 ne filtre pas ce que vous attendez. Les preuves sont indirectes : les praticiens constatent largement que la confiance autodéclarée est mal calibrée et recommandent de ne pas s'y fier telle quelle.

Parade : utilisez les log-probabilités des tokens, l'accord entre plusieurs échantillons ou la probabilité d'un classifieur, et calibrez le seuil sur des données mises de côté (fit de semantic-router, calibrate_threshold de RouteLLM).

Demandes multiples et implicites

« Toujours rien après deux semaines, je veux être remboursé » n'est lu que pour l'un de ses deux problèmes, ou « toujours rien dans ma boîte aux lettres » n'est pas reconnu comme une question de livraison. Un ton énervé est classé comme une réclamation.

Parade : une règle de priorité dans le prompt, des exemples de demandes implicites, une consigne de s'attacher à l'intention plutôt qu'à l'émotion, un routing multi-label si les deux problèmes doivent être traités, ou une question de clarification.

Relances sans contexte

« Oui, fais ça » est aiguillé sans savoir à quoi « ça » renvoie.

Parade : transmettez une courte fenêtre d'historique au routeur, utilisez un routeur qui tient compte de la conversation, ou laissez les relances au handler en cours (sémantique de handoff).

Dérive et prolifération des routes

Une nouvelle gamme de produits ou un problème saisonnier apparaît, la précision se dégrade, et l'on ajoute des routes jusqu'à ce que leurs descriptions se chevauchent.

Parade : surveillez la répartition des routes et le taux de none, réétiquetez régulièrement des échantillons, fusionnez les routes similaires, et traitez toute modification d'une description de route comme un changement de modèle qui demande un test de non-régression.

Un routeur de modèles réglé sur des benchmarks échoue sur votre trafic

Les routeurs de RouteLLM entraînés uniquement sur les données de Chatbot Arena étaient à peu près au niveau du hasard sur MMLU, et légèrement en dessous sur GSM8K.

Parade : calibrez et évaluez sur votre propre trafic, et ajoutez des labels du domaine ; LMSYS indique qu'environ 1 500 échantillons MMLU étiquetés ont nettement aidé.

Réaiguillage malveillant

Des attaquants ajoutent du texte qui pousse des requêtes du niveau bon marché vers le modèle coûteux. Dans l'article « Rerouting LLM Routers », des attaques en boîte blanche ont fait monter de niveau 73 à 100 % des requêtes destinées au modèle faible, l'attaque s'est transférée en boîte noire, et le filtrage par perplexité ne l'a pas arrêtée.

Parade : traitez le routing comme une frontière de sécurité dès que le coût ou les permissions diffèrent selon la route. Imposez des limites de débit et des budgets par utilisateur sur les routes coûteuses, surveillez les anomalies dans la répartition des routes, et ne laissez jamais la seule décision de routing accorder des privilèges.

Le routeur, point de défaillance unique

Une panne ou un timeout du routeur bloque tout le trafic.

Parade : un timeout avec une route par défaut, et un routeur de repli déterministe et peu coûteux.

Liens avec les autres patterns

Pour aller plus loin

Toutes les sources ci-dessous sont en anglais.