Council / Debate
Aussi appelé : multi-agent debate (MAD), LLM council, society of minds, table ronde, mixture-of-agents (MoA), jury délibérant, ensemble avec revue par les pairs, débat contradictoire (sûreté de l'IA)
Intention
Plusieurs agents répondent chacun de leur côté à la même question, puis lisent les réponses des autres et y réagissent : ils critiquent, classent, argumentent ou révisent. Un vote, un juge ou un président tire de ce matériau une seule réponse finale et indique à quel point les membres étaient d'accord. L'étape qui définit le pattern, c'est que les membres voient le travail des autres avant la décision ; s'ils ne le voient jamais, c'est un simple vote.
Problème
Une équipe construit un assistant qui répond à une seule question pour chaque pull request : « Peut-on la fusionner sans risque ? » La PR #482 ajoute un endpoint d'export CSV au service de reporting. Un modèle puissant donne la bonne réponse la plupart du temps, mais ses « c'est bon » erronés ressemblent exactement aux justes.
Les solutions évidentes sont de faire confiance à l'appel unique, ou de le lancer cinq fois et de prendre la majorité. Les deux échouent aux mêmes endroits :
- Angles morts corrélés. Échantillonner plusieurs fois un même modèle réduit l'erreur aléatoire, pas l'erreur systématique. Si le modèle ne remarque pas que le nouvel endpoint contourne le middleware d'authentification, la plupart des cinq échantillons ne le remarqueront pas non plus.
- L'auto-relecture défend la première réponse. Demander au même modèle de revérifier son approbation tend à la confirmer. Liang et al. ont appelé ce phénomène « Degeneration-of-Thought » et ont conçu le débat pour le contourner.
- Aucun signal d'incertitude. Cinq approbations quasi identiques ressemblent à de la confiance. Rien ne vous dit que cette PR se jouait à pile ou face et qu'un humain devrait la regarder.
- Aucune trace des arguments. Un relecteur qui ne peut pas examiner le diff en détail n'a rien à vérifier, seulement un verdict.
Solution
Posez la même question à plusieurs membres différents, gardez leurs premières réponses indépendantes, puis faites interagir les réponses avant toute décision. Pour la PR, les membres sont un relecteur sécurité, un relecteur exactitude et un sceptique, idéalement sur trois familles de modèles différentes de force comparable.
- Répondre seul (tour 0). La question et le diff partent en parallèle vers les trois membres. Aucun ne voit encore la réponse d'un autre, car c'est l'indépendance qui produit des réponses différentes. Chacun termine par une ligne analysable comme
ANSWER: fusionner après modifications. - Lire et réagir (tours 1 à R). Votre code anonymise les réponses (« Response A », « Response B »), les mélange pour chaque lecteur et les renvoie. En revue par les pairs, chaque membre critique et classe les autres : « La réponse B n'a pas vu que le nouvel endpoint saute le contrôle d'authentification. » En débat, chaque membre révise sa propre réponse après avoir lu les autres, pendant un ou deux tours au plus.
- Décider. Un président produit la sortie. Pour une réponse fermée comme ce verdict, un vote majoritaire en code peut la choisir, et un modèle président rédige l'explication à partir des réponses et des revues. On demande au président de juger les arguments, pas de compter les voix, pour qu'une minorité bien étayée puisse l'emporter.
- Indiquer l'accord. Le résultat porte le niveau d'accord et tout désaccord non résolu. Un council divisé envoie la PR à un humain.
Qui décide du flux. Le développeur fixe la forme dans le code : les membres, leurs modèles et rôles, le nombre de tours, qui lit qui, la règle d'arrêt, la règle d'agrégation et le seuil d'escalade. Les LLM membres ne décident que du contenu des réponses, des critiques et des révisions ; le LLM président, s'il y en a un, décide quelle réponse l'emporte ou ce que dit la synthèse. En pratique, un council est un workflow dont les tours sont rédigés par des LLM.
Le voisin le plus proche est le vote dans Parallelization : le même déploiement en parallèle, mais les échantillons restent indépendants et sont seulement comptés. Un council ajoute l'étape où les membres se lisent. Cette étape est aussi son principal risque, et un vote à coût égal est la baseline qu'il doit battre.
Analogie
Un comité de recrutement qui fonctionne bien. Chaque recruteur note sa grille et ses remarques avant le débrief, pour que la personne qui parle le plus fort ne fixe pas l'avis de tout le monde. Pendant le débrief, ils comparent leurs notes et se contredisent (« la réponse sur la conception du système t'a plu, mais tu as vu qu'il n'a jamais traité les pannes ? »). Le manager qui recrute tranche et sait si le panel était d'accord ou partagé. Les recruteurs sont les membres, les grilles écrites sont le tour 0, le débrief est l'étape de revue, et le manager est le président.
L'analogie ne tient plus à deux endroits. Des recruteurs de parcours différents ont vraiment des angles morts différents ; des LLM entraînés sur des données proches, souvent pas. Et les gens changent généralement d'avis face à des éléments nouveaux, alors que les membres LLM changent souvent de réponse juste pour rejoindre la majorité.
Structure
- Membres. Des agents qui répondent en parallèle à la même question, sans contexte partagé. Les sources en utilisent de 2 à 6 (3 chez Du et al., 4 dans llm-council, 6 dans MoA). Ils n'apportent quelque chose que s'ils se trompent différemment : d'abord des familles de modèles différentes de force comparable, sinon des personas, des positions ou des éléments de preuve différents. Chaque réponse se termine par une ligne finale analysable.
- Revue par les pairs ou débat. Votre code anonymise et mélange les réponses, puis chaque membre critique et classe les autres, ou révise sa propre réponse. Qui lit qui (tous vers tous, un anneau, des groupes) constitue la topologie. Les tours s'arrêtent à un plafond, sur consensus, ou quand un juge tranche.
- Président. Du code qui compte les votes ou les rangs, un LLM qui choisit un camp, ou un LLM qui rédige une nouvelle réponse à partir de tout le reste. Il doit peser les arguments plutôt que compter les voix, et lister ce qui reste contesté.
- Réponse finale. La réponse, plus le taux d'accord et la position minoritaire. Journalisez le tour 0, chaque changement d'avis, les classements et les tokens par étape.
- Revue humaine. Sous un seuil d'accord, le cas passe à une personne (Human-in-the-Loop). Dans le débat pour la sûreté, c'est l'humain qui juge.
Générateur de prompt
Décrivez la question, les membres et leur façon d'interagir. La sortie est un protocole pour votre code, plus un prompt par type d'appel (membre, revue ou mise à jour du débat, président). C'est votre code qui fait les appels, donc les étapes fonctionnent avec n'importe quel SDK ou framework capable de lancer des appels en parallèle ; vous pouvez aussi confier le bloc entier à un agent de code qui lance des sous-agents.
Prompt généré
Le texte surligné vient du formulaire. Le texte [entre crochets] reste à compléter.
Trois copies d'un même modèle avec un même prompt sont presque toujours d'accord au tour 0 : vous payez trois fois pour un seul avis. Et un prompt de débat qui dit « mettez à jour votre réponse » invite les membres à rejoindre la majorité. La règle des prompts générés, ne changer d'avis que sur une faille nommée ou un fait vérifiable, est là parce que des études ultérieures ont constaté que des réponses justes étaient abandonnées sous la pression plus souvent que des réponses fausses n'étaient corrigées.
Quand l'utiliser
À utiliser quand
- Vous disposez de plusieurs modèles puissants, différents et de qualité comparable. Leurs erreurs sont moins corrélées, et c'est la seule source de gain. Self-MoA a constaté que le mélange n'aide que lorsque les modèles sont proches en qualité.
- La sortie est ouverte. Pour une analyse, un conseil ou une réponse longue, il n'y a rien à mettre au vote, et les auteurs de MoA ont constaté que synthétiser plusieurs brouillons faisait mieux que de laisser un LLM en choisir un.
- Il vous faut un signal d'évaluation moins biaisé par un seul modèle. Des panels de juges de familles différentes sont plus souvent d'accord avec les humains qu'un juge seul ; l'évaluation est le domaine où les councils ont les résultats les plus nets.
- Un juge plus faible doit trancher. Quand un humain ou un petit modèle ne peut pas vérifier la réponse directement, deux débatteurs qui citent des éléments vérifiables lui donnent de quoi contrôler.
- Le désaccord est une sortie utile. Vous voulez savoir quels cas escalader, et une mauvaise réponse coûte bien plus cher que quelques appels supplémentaires.
À éviter quand
- La réponse est une étiquette fermée ou un nombre, et vous n'avez qu'un modèle. La self-consistency à calcul égal fait en général aussi bien ou mieux, et plus simplement. Utilisez le vote de Parallelization.
- Un vérificateur ancré dans le réel existe. Des tests, un compilateur, une recherche documentaire ou un schéma valent mieux que l'avis de n'importe quel panel. Utilisez Evaluator–Optimizer avec ce vérificateur, ou un best-of-N avec lui.
- Vous n'avez pas essayé un bon prompt unique avec des exemples. Une étude a trouvé qu'un agent seul avec des démonstrations égalait une discussion multi-agent.
- La latence compte. Chaque tour, la revue et le président sont des étapes séquentielles, et un MoA en couches ne peut pas streamer avant la dernière couche.
- Vos membres supplémentaires sont nettement plus faibles que votre meilleur modèle. Un membre faible tire les forts vers le bas. Échantillonnez plutôt le meilleur modèle.
- La tâche relève surtout de la mémoire ou du sens commun. Dans « Talk Isn't Always Cheap », toutes les configurations sur CommonsenseQA se sont dégradées après le débat.
Mise en œuvre
- Construisez d'abord les baselines. Lancez un appel unique à un modèle puissant et une self-consistency à coût égal (N échantillons plus un vote majoritaire) sur votre propre jeu d'évaluation. Plusieurs études les ont trouvées difficiles à battre ; le council doit battre les deux.
- Choisissez les membres pour leur diversité et leur qualité. Trois à cinq membres de familles de modèles différentes et de force comparable. Si vous n'avez qu'un bon modèle, utilisez des personas ou des positions imposées, ou plusieurs échantillons de ce modèle plus un synthétiseur (Self-MoA).
- Choisissez l'interaction. Revue par les pairs plus président, débat avec révisions par tours, débatteurs pour et contre plus un juge, ou synthèse en couches (voir Variantes).
- Fixez le contrat de sortie. Chaque réponse se termine par une ligne finale analysable, plus une confiance si vous comptez pondérer les votes. Chaque revue se termine par un classement analysable. Utilisez la sortie structurée quand c'est possible.
- Anonymisez et mélangez. Des étiquettes comme
Response A, un nouvel ordre aléatoire pour chaque lecteur, et le texte qui identifie l'auteur retiré. Vous pouvez aussi cacher à chaque relecteur sa propre réponse. - Plafonnez à un ou deux tours sauf si votre évaluation dit le contraire, et arrêtez tôt quand toutes les réponses finales concordent. Si les réponses oscillent, arrêtez et prenez la majorité du tour 0.
- Agrégez selon le type de sortie. Le vote pour les réponses fermées, la synthèse pour le texte ouvert, un juge pour les dispositifs contradictoires. Un hybride courant : voter pour la réponse, synthétiser l'explication, indiquer le taux d'accord.
- Exposez et journalisez le désaccord. Renvoyez le taux d'accord et la position minoritaire, escaladez sous un seuil, et journalisez les réponses du tour 0, les changements d'avis, les classements, la sortie du président, les tokens et la latence par étape.
Aucun framework majeur ne propose de classe council de premier plan. Vous le construisez à partir d'un déploiement en parallèle et d'un transcript partagé, ou au-dessus d'un group chat.
| Framework | Comment ce pattern apparaît |
|---|---|
| AutoGen (Core API) | Un design pattern documenté, « Multi-Agent Debate » : quatre agents MathSolver dans un anneau clairsemé (chacun lit ses deux voisins) et un MathAggregator qui fait un vote majoritaire, avec max_round=3, câblés par abonnements à des topics. |
| Together AI | Du code de référence pour Mixture-of-Agents : des modèles de référence appelés en parallèle, des couches intermédiaires optionnelles et un agrégateur qui streame la réponse finale. |
| karpathy/llm-council | Une petite application FastAPI et React avec les trois étapes : collecte des réponses, collecte des classements anonymisés (un bloc FINAL RANKING:), moyenne des rangs, synthèse par le président. Une référence lisible, pas une bibliothèque maintenue. |
| InstaDeep DebateLLM | Une bibliothèque de recherche qui implémente de nombreux protocoles de débat, pour les comparer entre eux. |
| DSPy | dspy.MultiChainComparison lit M tentatives de raisonnement (3 par défaut) et écrit une réponse corrigée : un council minimal en un tour où seul le président réagit. Pas de débat multi-tours intégré. |
| LangGraph | Pas de primitive officielle. Des nœuds membres en parallèle, un reducer de liste qui collecte les réponses, un nœud de revue, une arête conditionnelle qui reboucle pour un autre tour, et un nœud président. |
| Autres | N'importe quelle primitive parallèle plus une étape finale, par exemple un ParallelAgent de Google ADK dans un SequentialAgent. Aucun pattern de débat documenté n'a été trouvé pour CrewAI. |
Réserve. AutoGen serait passé en mode maintenance au profit de Microsoft Agent Framework ; l'information vient de la presse et n'est pas vérifiée. Les parties propres au council (ce qui est partagé entre les tours, l'anonymisation, le prompt de revue, le président) sont du code sur mesure dans tous les frameworks, elles survivent donc à un changement de framework.
Variantes
Revue par les pairs et président (LLM council)
Trois étapes : réponses, classement croisé anonymisé, synthèse par le président. C'est la forme du llm-council de Karpathy, que son README présente comme un projet de week-end « vibe coded ». Son README dit que chaque modèle relit les réponses des autres, mais le code envoie à chaque relecteur toutes les réponses anonymisées, y compris la sienne. Le dépôt ne donne aucun chiffre d'évaluation. Le Model Council de Perplexity (février 2026) en est une version produit : trois modèles répondent et un synthétiseur montre où ils sont d'accord et où ils divergent. Choisissez cette variante pour des questions ouvertes où vous voulez un verdict lisible.
Débat itératif (society of minds)
Les membres répondent, puis pendant R tours chacun lit les autres et met sa réponse à jour ; un vote majoritaire choisit la réponse finale. Du et al. ont utilisé 3 agents gpt-3.5-turbo et 2 tours, et ont rapporté une hausse de 77,0 à 85,0 sur GSM8K par rapport à un agent seul. Le vote majoritaire sur les 3 premières réponses indépendantes atteignait déjà 81,0, avec 3 réponses là où le débat en utilisait 9. Quand Huang et al. ont refait GSM8K avec la self-consistency à 9 réponses également, le vote l'a emporté, 88,2 contre 83,0.
Débat contradictoire avec juge (MAD)
Un débatteur pour et un débatteur contre argumentent pendant 3 tours au plus, et un juge arrête le débat dès qu'il voit une réponse correcte, ou en extrait une à la fin. Liang et al. ont constaté que 2 débatteurs faisaient mieux que 3 ou 4, que la plupart des débats se terminaient après un tour, que forcer plus de tours ou un désaccord maximal n'aidait pas, et que le juge favorisait le camp qui utilisait son propre modèle. Le dispositif consommait environ 2,46 fois les tokens d'un chain-of-thought.
Débat pour la supervision à grande échelle (scalable oversight)
Deux débatteurs puissants défendent des réponses opposées devant un juge qui ne peut pas vérifier la réponse directement. Chez Khan et al., seuls les débatteurs voyaient l'histoire source ; le débat a porté la précision des juges humains à 88 % (60 % sans aide, 78 % avec un consultant unique) et celle des juges LLM à 76 % (contre 48 %). Une citation ne comptait comme vérifiée que si elle correspondait exactement au texte, et cet ancrage était essentiel. L'objectif est de superviser des modèles plus forts, pas la précision brute.
Mixture-of-Agents (MoA)
Des couches d'agents : chacun reçoit le prompt plus toutes les sorties de la couche précédente, et un agrégateur final rédige la réponse. Il n'y a pas d'étape de critique, mais chaque couche lit les autres et y réagit. Together AI a rapporté (résultat de l'éditeur) un taux de victoire contrôlé en longueur de 65,1 % sur AlpacaEval 2.0 avec six modèles ouverts en trois couches, contre 57,5 % pour GPT-4o seul. Le coût principal est le délai avant le premier token. Self-MoA, qui utilise plusieurs échantillons du seul meilleur modèle comme proposeurs, a battu de 6,6 points la reproduction du MoA mixte faite par les auteurs eux-mêmes : la qualité comptait plus que la diversité.
Jury délibérant
Le council juge d'autres sorties au lieu de répondre. Dans ChatEval, des agents arbitres aux personas différentes discutent puis votent ; des rôles identiques n'apportaient rien, les tours de parole un par un faisaient mieux que la discussion simultanée, et les résultats culminaient à 3 ou 4 rôles. La barre à franchir est un panel sans délibération comme PoLL (traité dans Parallelization), qui était plus souvent d'accord avec les humains que GPT-4 seul sur la plupart des jeux de QA, pour un coût plus de sept fois inférieur. N'ajoutez la délibération que si elle bat un tel panel sur vos données.
Table ronde pondérée par la confiance (ReConcile)
Des modèles variés partagent réponses, explications et scores de confiance sur plusieurs tours, puis votent avec une pondération par la confiance. Le résumé de l'article annonce des gains allant jusqu'à 11,4 % par rapport aux baselines antérieures ; les modèles et le nombre de tours n'ont pas été vérifiés au-delà du résumé. La confiance d'un LLM est souvent mal calibrée, vérifiez-la donc avant de pondérer.
Topologies clairsemées et par groupes
Chaque membre ne lit que ses voisins (un anneau) ou son groupe au lieu de tout le monde. Avec 6 agents, les graphes clairsemés réduisent les tokens d'entrée d'environ 41 à 53 % pour une précision similaire ou meilleure (Li et al.). CMD répartit les agents en groupes qui partagent tout leur raisonnement à l'intérieur du groupe et seulement leurs réponses entre groupes, avec un « secrétaire » pour départager les égalités.
Panel de rôles sur un seul modèle
Un seul modèle joue plusieurs rôles dans une discussion structurée. MAI-DxO, de Microsoft, utilise cinq personas de médecins, dont un « Challenger » qui joue l'avocat du diable, sur 304 dossiers de cas du NEJM. Un panel avec o3 a atteint environ 80 % ; le chiffre phare de 85,5 % vient d'un ensemble de plusieurs panels plus une étape de sélection dont l'article ne donne pas le détail. C'est peu coûteux à construire, mais tous les membres partagent les mêmes angles morts.
Tournois et comparaison de tentatives
L'AI co-scientist de Google classe des hypothèses par des débats simulés deux à deux et un tournoi Elo ; l'Elo est l'évaluation propre du système, pas une vérité terrain indépendante. À la petite échelle, MultiChainComparison de DSPy est un council en un tour où seul le président lit les tentatives.
Avantages et inconvénients
Avantages
- Moins d'exposition aux erreurs systématiques d'un modèle, et à la panne d'un fournisseur, quand les membres viennent de familles différentes.
- Le taux d'accord est un signal d'incertitude exploitable et un déclencheur naturel de revue humaine.
- La synthèse de plusieurs brouillons peut battre chacun d'eux sur des réponses ouvertes.
- Laisse une trace consultable : qui a changé d'avis, et pourquoi.
- Des panels de juges qui délibèrent peuvent noter plus justement qu'un juge seul : les arbitres multi-personas de ChatEval ont fait passer la précision sur FairEval de 53,8 % à 60,0 % avec ChatGPT. (Le panel de petits juges de PoLL, moins coûteux, ne délibère pas ; il relève donc du vote.)
- Donne à un juge faible des arguments qu'il peut vérifier, quand les débatteurs citent des éléments vérifiables.
Inconvénients
- Le coût est d'environ N × (R + 1) appels de membres plus les revues et le président, et le contexte grossit à chaque tour. Smit et al. ont mesuré 5,19 $ pour un débat à 4 agents et 3 tours contre 2,16 $ pour Medprompt sur MedQA, sans meilleure précision.
- Chaque tour, chaque revue et l'étape du président sont séquentiels : le temps total vaut à peu près (2 + R) fois celui du membre le plus lent.
- À calcul égal, un simple vote majoritaire égale ou bat généralement le débat. Choi et al. rapportent 0,769 pour le vote contre 0,738 pour le meilleur débat (Qwen2.5-7B, sept benchmarks).
- Les tours ont tendance à gommer la diversité, et des membres qui avaient raison se laissent convaincre d'abandonner une bonne réponse.
- Beaucoup de prompts et de parseurs, et beaucoup d'occasions pour un membre de dépasser le délai ou de rendre un bulletin illisible.
- Les résultats sont sensibles aux prompts, au nombre de tours et aux modèles, et les réglages peuvent ne pas tenir quand vous changez de modèle.
Modes de défaillance
- Conformisme et effet de troupeau
-
Des membres abandonnent une réponse juste pour rejoindre la majorité. Dans « Talk Isn't Always Cheap », les bascules du correct vers l'incorrect étaient plus nombreuses que l'inverse, et les membres isolés basculaient le plus. Cela se voit à une précision qui baisse entre le tour 0 et le tour 2.
Parade : dites aux membres de ne changer d'avis que sur une faille nommée, et que la majorité n'est pas une preuve. Conservez le tour 0 et comparez. Plafonnez les tours. Choi et al. ont constaté que biaiser les mises à jour vers la majorité du tour précédent (MAD-Conformist, MAD-Follower) faisait mieux en moyenne que le débat simple.
- Complaisance entre agents
-
Les membres font écho à leurs pairs. Une étude a trouvé que les scores de complaisance des débatteurs étaient corrélés à r = 0,902 avec la fréquence à laquelle ils abandonnaient une réponse juste.
Parade : ne rendez pas tous les membres conciliants ; mélangez des personas indépendantes et coopératives. Dans la même étude, un juge centralisé a fait passer l'effondrement du désaccord d'environ 82 % à 41 % pour deux débatteurs Qwen3-32B sur CommonsenseQA.
- Aucun gain attendu d'un débat homogène
-
Avec des membres identiques et des mises à jour simples, la croyance attendue de chaque membre en la bonne réponse reste la même d'un tour à l'autre, si bien que le débat seul n'augmente pas l'exactitude attendue (Choi et al.). Même modèle, même prompt : les membres sont d'accord tout de suite et vous avez payé N fois pour un seul avis.
Parade : obtenez une vraie diversité (modèles, éléments de preuve, outils), ou renoncez au débat et votez. Ajoutez une vérification externe pour que les mises à jour aillent vers la vérité.
- Un membre faible tire le groupe vers le bas
-
La réponse fausse et assurée d'un modèle faible convainc des modèles plus forts, et des proposeurs de qualité inégale dégradent les résultats de MoA.
Parade : choisissez des membres de force comparable, suivez le taux d'erreur de chaque membre sur des échantillons étiquetés, et retirez les membres qui font baisser les scores d'évaluation.
- Désaccord forcé
-
Un avocat du diable à qui l'on demande d'être toujours en désaccord continue de défendre des réponses fausses. Le désaccord maximal n'a pas aidé dans MAD, et le protocole Multi-Persona a été le pire dans deux études.
Parade : visez un désaccord modéré, réglez-le pour chaque tâche, et laissez un juge arrêter tôt.
- Biais du juge et du président
-
Les juges favorisent les débatteurs qui utilisent leur propre modèle, préfèrent les réponses plus longues ou présentées en premier, et reconnaissent leur propre texte même anonymisé.
Parade : anonymisez et mélangez, inversez les ordres et faites la moyenne, prenez un président d'une famille absente du panel, limitez la longueur des débatteurs et excluez les auto-revues. Ne comptez pas sur l'anonymisation pour supprimer la préférence pour soi ; aucune source n'a mesuré à quel point elle aide.
- Le président écarte une minorité qui a raison, ou invente
-
La synthèse aplatit un vrai désaccord en une réponse assurée, ou ajoute des affirmations qu'aucun membre n'a faites.
Parade : demandez au président de juger les arguments et non le nombre de voix, exigez une liste des désaccords non résolus, et gardez la réponse majoritaire à côté de la synthèse pour que le code puisse signaler les écarts.
- Persuasif mais faux
-
Un membre éloquent l'emporte sans avoir raison. Khan et al. ont constaté que des débatteurs plus persuasifs aidaient les juges en situation de débat, mais les induisaient en erreur quand un consultant unique argumentait seul.
Parade : ancrez les arguments dans des citations vérifiées ou des sorties d'outils, et faites en sorte que le prompt de revue pénalise les affirmations non étayées.
- Surcharge de contexte
-
Les transcripts grossissent de N sorties par tour, les modèles se concentrent sur les messages les plus récents, et plus de membres ou de tours ont fait baisser les scores dans plusieurs articles.
Parade : partagez les réponses finales avec de courtes justifications, résumez les tours précédents, ou utilisez une topologie clairsemée.
- Bulletins illisibles
-
Des classements ou des réponses que le code ne sait pas lire. Dans une étude de benchmark, les modèles plus faibles s'effondraient sur les formats stricts.
Parade : sortie structurée, parseurs tolérants (llm-council se rabat sur une recherche des étiquettes), une nouvelle tentative, puis écartez le bulletin et journalisez-le.
- Les classements entre pairs mesurent des goûts
-
Les membres peuvent préférer systématiquement le style d'un modèle, par exemple la réponse la plus verbeuse. Un article de presse (source secondaire) rapporte que le council de Karpathy classait toujours le même modèle en tête alors qu'il n'était pas d'accord.
Parade : confrontez les classements à des étiquettes humaines ou à une vérité terrain avant de vous en servir comme métrique.
Liens avec les autres patterns
- Parallelization : couvre le vote, la self-consistency, le best-of-N et les panels de juges sans délibération. L'étape 1 d'un council est un déploiement en parallèle, et un vote à coût égal est la baseline qu'un council doit battre.
- Evaluator–Optimizer : un générateur et un critique en boucle, y compris un juge LLM unique avec une grille. Un council, ce sont plusieurs pairs qui se critiquent mutuellement. Préférez la boucle avec évaluateur quand un vérificateur ancré dans le réel existe.
- Orchestrator–Workers : l'agent principal découpe une tâche en sous-tâches différentes ; les membres d'un council travaillent tous sur la même question. Un orchestrateur peut appeler un council pour une sous-tâche à fort enjeu.
- Supervisor : le contrôle revient à un agent central après chaque worker. Un superviseur peut appeler un council comme outil pour une décision ; le président du council n'agrège qu'une fois, à la fin.
- Plan-and-Execute : la planification par recherche (Tree of Thoughts, LATS) compare aussi des candidats, mais par score et retour arrière à l'intérieur d'un seul agent, pas par des pairs qui débattent.
- Group Chat : souvent confondu avec le débat, et Azure emploie « debate » et « council » comme noms de group chats. Un group chat est une prise de parole ouverte avec un sélecteur d'orateur ; un council a des tours fixes, des premières réponses indépendantes, une anonymisation et une règle de décision explicite. Vous pouvez faire tourner un débat sur un framework de group chat.
- Blackboard : un transcript de débat est un espace de travail partagé simple, mais les agents d'un blackboard apportent des expertises différentes à une seule solution, et non des réponses concurrentes à une même question.
- Human-in-the-Loop : le taux d'accord est un déclencheur naturel de revue humaine, et dans le débat pour la sûreté, c'est l'humain qui juge.
- ReAct : n'importe quel membre peut lui-même être une boucle ReAct avec des outils.
- Swarm / Handoffs, Routing, Prompt Chaining, Hierarchical teams : pas des voisins par la forme, mais un council peut constituer une étape d'une chaîne, une route ou une équipe dans une hiérarchie.
Pour aller plus loin
- Improving Factuality and Reasoning in Language Models through Multiagent Debate (Du et al., 2023) : l'article qui a popularisé le débat avec révisions par tours, avec ses prompts et ses résultats de passage à l'échelle.
- Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models? (Choi, Zhu, Li, NeurIPS 2025) : la comparaison contrôlée avec le vote majoritaire, et pourquoi un débat homogène n'apporte aucun gain attendu.
- Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate (Wynn, Satija, Hadfield, 2025) : analyse des bascules, conformisme, et membres faibles qui tirent les forts vers le bas.
- Mixture-of-Agents Enhances Large Language Model Capabilities (Wang et al., Together AI, 2024) : la synthèse en couches, et pourquoi synthétiser fait mieux que choisir une réponse.
- Debating with More Persuasive LLMs Leads to More Truthful Answers (Khan et al., 2024) : le débat comme supervision pour un juge qui ne voit pas les éléments de preuve, et les citations vérifiées.
- karpathy/llm-council (GitHub) : une implémentation courte et lisible des réponses, du classement anonymisé et de la synthèse par le président.