LongSeeker : l'agent de recherche à 30 milliards de paramètres qui bat GPT-5

Le paradoxe de l'agent qui se noie dans ses propres notes

Un agent de recherche moderne fonctionne en boucle. Il réfléchit. Il effectue une action. Il observe le résultat. Puis il réfléchit à nouveau à partir de ce nouveau résultat. Cette approche, appelée Raisonnement-Action (ou ReAct dans les publications scientifiques), est intuitive. Elle reste efficace sur des tâches courtes.

Le problème apparaît quand la recherche s'étend sur des dizaines ou des centaines d'étapes. Chaque observation s'ajoute à la mémoire sans distinction. Un article lu au début s'avère inutile. Il reste pourtant dans le contexte. Un lien exploré par erreur est conservé. Une information redondante est répétée à chaque étape. La mémoire grossit de manière linéaire.

Cette saturation a trois conséquences concrètes. Premièrement, elle augmente le coût de calcul. Le modèle doit traiter un texte de plus en plus long à chaque étape. Deuxièmement, elle dégrade la qualité du raisonnement. Le modèle distingue mal l'essentiel du superflu au milieu de milliers de jetons. Troisièmement, elle limite l'horizon de la recherche. Le modèle atteint rapidement la taille maximale de son champ de vision.

💡 Le saviez-vous ? Le test BrowseComp mesure la capacité d'un agent à naviguer sur le web. Il doit répondre à des questions qui exigent plus de cinquante étapes de recherche. Seuls les modèles capables de gérer des contextes longs et bruyants peuvent espérer un score élevé.

Contexte-ReAct : quand l'agent gère lui-même sa mémoire

LongSeeker ne se contente pas de raisonner et d'agir. À chaque étape, il produit simultanément une couche d'actions de niveau supérieur. Ces actions visent à restructurer son propre historique avant de passer à l'étape suivante. Les auteurs appellent ce paradigme Contexte-ReAct. C'est une extension structurée de la boucle classique.

À chaque étape, le modèle produit quatre éléments simultanément dans un seul passage de génération. Premièrement, une chaîne de raisonnement qui explique ce qu'il a compris du problème. Deuxièmement, une liste d'opérations de niveau supérieur qui décrivent comment modifier le contexte existant. Troisièmement, un appel d'outil standard, comme une requête de recherche web. Quatrièmement, l'observation retournée par l'environnement.

Les auteurs démontrent mathématiquement que cet ensemble d'opérations est expressif au sens complet. Cela signifie que n'importe quel état de contexte cible peut être atteint. Il suffit de combiner ces opérations à partir de n'importe quel état initial. En pratique, cela garantit que l'agent ne se retrouve jamais prisonnier d'une mémoire mal organisée.

Cette architecture est un changement de perspective fondamental. Au lieu de considérer la mémoire comme un journal passif qu'il faut subir, LongSeeker la traite comme un espace de travail actif qu'il peut façonner. C'est la différence entre un bureau accumulant des piles de papiers et un professionnel qui classe, résume et jette au fur et à mesure.

Les cinq opérations de niveau supérieur décryptées

Le système repose sur cinq opérations atomiques que l'agent combine librement. Chacune répond à un besoin spécifique de gestion de l'information. Comprendre ces opérations permet de saisir pourquoi LongSeeker surpasse des modèles bien plus grands.

Première opération : Sauter. C'est l'identité. L'agent détermine que le contexte actuel est déjà optimal et ne fait rien. Cette opération est cruciale. Elle empêche l'agent de modifier la mémoire quand il n'y a pas besoin. La parcimonie est une vertu algorithmique.

Deuxième opération : Compresser. L'agent remplace une plage continue d'étapes historiques par un résumé abstrait. Cela réduit la taille du contexte tout en préservant l'information essentielle. C'est l'équivalent de prendre des notes synthétiques après avoir lu plusieurs chapitres d'un livre.

Troisième opération : Annuler. L'agent revient à une étape antérieure spécifique du contexte. Il supprime tout ce qui s'est passé après. Mais il conserve les leçons apprises de cet échec. Cela évite de répéter la même erreur sans garder le bruit associé au chemin exploré.

Quatrième opération : Extraire. C'est la seule opération sans perte. L'agent copie un fragment exact d'une observation, comme un numéro, une adresse web ou un bloc de code. Contrairement à la compression, il n'y a aucune réécriture. Cela préserve la précision des données critiques. Cela évite les hallucinations que provoquent parfois les résumés.

Cinquième opération : Supprimer. L'élimination complète d'une étape jugée non informative ou redondante. Si un lien retourne une page d'erreur, ou si une observation est dupliquée, l'agent la retire purement et simplement.

Comment LongSeeker a été entraîné

LongSeeker est construit sur Qwen3-30B-A3B. C'est un modèle existant de trente milliards de paramètres. Il a été affiné par apprentissage supervisé standard. Le corpus comprend dix mille trajectoires de haute qualité. Neuf mille sont en anglais. Mille sont en chinois.

Ce qui rend l'entraînement remarquable, ce n'est pas la méthode. Ce sont les données. Les trajectoires ont été générées par DeepSeek V3.2, un modèle beaucoup plus grand. Il a servi de professeur. Ce professeur a démontré non seulement quand effectuer une recherche. Il a surtout montré quand et comment compresser, annuler ou supprimer des parties du contexte.

L'apprentissage supervisé a été appliqué à l'ensemble structuré de la sortie. Cela inclut le raisonnement, les opérations de niveau supérieur et les appels d'outils. Le modèle apprend donc deux choses en parallèle. Il réfléchit au problème. Il réfléchit aussi à sa propre mémoire. Cette double compétence distingue LongSeeker des agents classiques.

Le code source et le modèle affiné sont publiquement disponibles sur GitHub et Hugging Face. Cette transparence est rare dans le domaine des agents de recherche. La plupart des systèmes performants restent propriétaires.

Résultats : un petit modèle qui domine les géants

Les résultats sur le test BrowseComp parlent d'eux-mêmes. LongSeeker obtient 61,5 % en anglais et 62,5 % en chinois. GPT-5 atteint 54,9 % en anglais. Gemini 3.0 Pro atteint 59,2 % en anglais. Il reste néanmoins derrière LongSeeker sur d'autres indicateurs.

La différence la plus frappante concerne la croissance du contexte. Avec un agent ReAct standard basé sur DeepSeek V3.2, la taille de la mémoire augmente de manière linéaire et explosive. Elle atteint rapidement les limites du modèle. Avec LongSeeker, la taille du contexte croît initialement, puis se stabilise autour de quinze mille jetons même après trois cents étapes.

Cette stabilité est essentielle. Elle signifie que LongSeeker peut continuer à chercher longtemps sans être étouffé par son propre passé. Cela ouvre la voie à des recherches qui nécessitent des centaines d'étapes interconnectées, impossibles pour les agents traditionnels.

Ce que cela implique pour la gouvernance des agents

La gouvernance d'un agent autonome ne se limite pas aux questions de sécurité et de confidentialité. Elle inclut aussi la traçabilité de ses raisonnements. Si un agent prend une décision erronée, il faut pouvoir comprendre pourquoi.

LongSeeker apporte ici une contribution inattendue. Comme chaque étape inclut une opération de niveau supérieur explicitement documentée, l'historique du contexte devient un journal structuré des choix de mémoire de l'agent. Nous pouvons voir quand il a décidé de compresser, quand il a annulé une branche et quand il a extrait une donnée précise.

Cette transparence est précieuse pour l'audit. Elle permet de reconstruire non seulement les actions de l'agent, mais aussi sa logique interne de sélection de l'information. Pour les applications où la responsabilité est en jeu, comme la recherche médicale ou juridique, cette capacité d'expliciter la gestion de la mémoire est un atout majeur.

Enfin, le fait que le modèle et le code soient ouverts renforce la confiance. Les organismes de régulation, les chercheurs et les utilisateurs peuvent inspecter le système plutôt que de faire confiance à une boîte noire commerciale.

Les limites et les questions ouvertes

Malgré ses succès, LongSeeker soulève des questions importantes. La première concerne la généralisation. Les résultats sont mesurés sur des tests de navigation web. Il reste à voir si l'orchestration élastique du contexte fonctionne aussi bien pour d'autres types de tâches. Cela inclut la planification logique ou l'interaction avec des ordinateurs physiques.

La deuxième limite est la dépendance vis-à-vis d'un professeur. Les trajectoires d'entraînement ont été générées par un modèle plus grand. Cela signifie que LongSeeker réplique une forme d'intelligence déjà présente ailleurs. Il ne découvre pas de nouvelles stratégies de gestion du contexte par lui-même. Peut-il apprendre à organiser sa mémoire de manière originale si nous lui donnons un signal de récompense plutôt qu'un professeur ?

La troisième limite est le coût des opérations de niveau supérieur. Chaque étape génère non seulement une action standard, mais aussi une série d'opérations de maintenance du contexte. Cette surcharge cognitive existe. Elle est moindre que le coût d'un contexte non géré. Elle mérite néanmoins d'être quantifiée précisément.

La quatrième limite est l'évaluation du compromis entre compression et perte d'information. L'opération Compresser implique une abstraction. Cette abstraction peut éliminer des détails jugés non pertinents par l'agent. Ces détails sont pourtant potentiellement importants pour la suite. Mesurer ce risque de manière systématique reste un défi ouvert.

Maintenant, tu sais

LongSeeker prouve que la prochaine génération d'agents autonomes ne sera pas celle des modèles les plus grands, mais celle des modèles les mieux organisés. En donnant à un agent la capacité de gérer sa propre mémoire comme un professionnel gère son bureau, les chercheurs ont obtenu des performances supérieures à celles de systèmes dix fois plus massifs.

Trois enseignements clés émergent de cette recherche. Premièrement, la gestion du contexte est aussi importante que la capacité de raisonnement. Un modèle brillant qui étouffe dans ses propres notes n'est pas meilleur qu'un modèle modeste mais ordonné. Deuxièmement, l'ouverture des modèles et des données d'entraînement accélère l'innovation. Elle renforce la confiance. Troisièmement, les opérations de mémoire de niveau supérieur pourraient devenir un standard de l'industrie. C'est ce qui s'est passé pour l'attention avec les modèles de langage.

La prochaine fois que quelqu'un te dira qu'il faut un modèle de mille milliards de paramètres pour faire de la recherche intelligente, pose cette question.

Si un modèle trente fois plus petit obtient de meilleurs résultats en apprenant simplement à jeter ses notes, pourquoi penser que la taille est le seul critère qui compte ?

La réponse n'est pas dans les gigaoctets. Elle est dans la méthode.

Pour Aller Plus Loin (Sources et Lectures)

Sources Originales

• 📄 arXiv : LongSeeker : Elastic Context Orchestration for Long-Horizon Search Agents (en anglais)
• 💻 GitHub : Code source et modèle LongSeeker (en anglais)
• 🤗 Hugging Face : Modèle affiné LongSeeker-30B-SFT (en anglais)

💬 Rejoins la Discussion

Tu as des questions sur cet article ? Des retours d'expérience à partager ?

→ Facebook — on en parle en direct avec la communauté.