Ton IA n'a pas de mémoire

Pourquoi Ton IA est si chère

Avant : Quand tu utilisais Google pour chercher une information, le coût était invisible. Tu posais une question, le moteur te donnait une réponse. Pas de compte à payer, pas de limite de mots.

Maintenant : Chaque mot que tu entres et chaque mot que le modèle te renvoie est mesuré au millier. Et le piège, c'est que le modèle ne se contente pas de lire ton dernier message. Pour répondre, il doit relire l'intégralité de la conversation. C'est comme si un détective, à chaque nouvelle question, relisait tout ton dossier complet depuis le début. Et au milieu de ce travail répétitif, une technologie interne appelée KV cache stocke les calculs déjà faits pour éviter de les refaire.

Exemple concret : Tu envoies un document de 20 pages pour le résumer, puis tu poses 10 questions dessus. Sans aucun cache, le modèle lit 20 pages 10 fois. Avec le cache de l'API, il ne paie la lecture de ces 20 pages qu'une seule fois. La différence peut être de 1 000 mots payés à chaque question (sans) contre 100 mots payés seulement pour la question (avec).

Le Cache du Modèle (KV Cache)

Ce cache se situe à l'intérieur même du modèle. Il garde en mémoire les calculs intermédiaires (des nombres très précis que le modèle crée pour chaque mot) afin de ne pas les recalculer à chaque étape. C'est invisible pour toi, mais essentiel pour la vitesse du serveur.

Le problème ? Ce cache consomme de la mémoire vive. Pour un modèle avancé traitant une longue conversation, ce stockage peut atteindre 40 Go de RAM pour UNE seule requête (source : Spheron). Si 4 personnes utilisent le modèle en même temps, cela fait 160 Go de mémoire. C'est pour cela que certaines conversations ralentissent quand elles deviennent trop longues : le serveur manque de place.

Ce type de cache règle un problème de vitesse, pas de coût. C'est une optimisation technique interne.

Le Cache de Contexte (API)

Là, on change de catégorie. Le cache de contexte est une fonctionnalité proposée par les plateformes (les fournisseurs d'API). Tu envoies un document long une seule fois, la plateforme le mémorise côté serveur. Pour toutes les questions suivantes sur ce même document, tu ne payes que 10% du prix habituel (chez Google) ou tu économises jusqu'à 90% du coût (chez Anthropic).

Ce n'est pas une optimisation interne. C'est un choix commercial et technique qui te concerne directement.

Ce que cela change pour Toi

Le KV cache est le moteur de la F1. Tu ne le vois pas, mais sans lui, la voiture ne roule pas. Le cache de contexte, c'est le carburant. C'est ce que tu achètes, doser et optimiser.

Le KV cache est invisible sur ta facture. Tu paies pour la réponse, mais tu ignores combien de travail le serveur a fait pour te la donner. Si le serveur manque de mémoire, il ralentit ou coupe la réponse sans te prévenir.

En revanche, le cache de contexte te laisse du contrôle. Tu peux choisir d'envoyer ton document une fois et de le réutiliser. C'est une décision que tu prends et qui se voit directement sur ton devis. Sauf que le contrôle dépend du fournisseur.

Google est le plus simple. Le système est entièrement automatique, tu n'as rien à faire. Si le début de ta question ressemble à celle d'avant, l'économie se fait seule. Elle atteint 75 à 90% (source : Google Developers Blog).

Anthropic est plus généreux mais plus technique. Tu dois placer un marqueur sur la partie de la conversation à réutiliser. L'effort est plus grand, mais l'économie dépasse 90% et le temps de réponse s'améliore de 85% (source : Anthropic API Docs, 2025).

OpenAI est le plus opaque. Le système existe mais reste invisible. Tu n'as aucun bouton, aucun marqueur. OpenAI décide seul ce qui est mémorisé, et l'économie reste modeste, de l'ordre de 50% (source : OpenAI API Reference).

Comment l'activer chez Google, Anthropic et OpenAI

Tu ne payes plus le même prix selon le fournisseur que tu choisis. Voici le guide concret.

Google : Le plus simple (Implicit Caching)

Si tu utilises Gemini 2.5 et plus, c'est automatique. Tu n'as rien à configurer. Si le début de ta question est identique à une précédente, le système active seul la remise. Tu peux aussi utiliser l'Explicit Caching pour bloquer toi-même la partie de ta question à mémoriser. Le coût ? Tu ne payes que 10% pour les éléments mis en cache (source : Google Cloud Blog).

Anthropic : Le plus économique (Prompt Caching)

Tu dois ajouter un marqueur spécial (cache_control) dans ta question pour préciser quelle partie ne change pas (par exemple, un long document). Anthropic met alors le contenu en mémoire et te facture 90% moins cher pour toutes les questions suivantes qui l'utilisent. La latence (temps d'attente) s'améliore aussi de 85% (source : Anthropic API Docs, 2025).

OpenAI : Le plus opaque (Automatic Caching)

Le système existe pour les modèles GPT-4o et plus récents, mais il est automatique et transparent. Tu ne vois pas le bouton. OpenAI gère tout seul. Le résultat ? Une réduction d'environ 50% quand le cache est activé, mais sans aucune garantie que tes données importantes resteront longtemps (source : OpenAI Developers API).

Le piège de la transparence

Le problème ne se limite pas aux chiffres. Il touche à la gouvernance.

Responsabilité : Quand Anthropic te donne un bouton pour dire « je veux que ceci reste en mémoire », la responsabilité est claire : c'est toi qui décides. Quand Google le fait automatiquement, tu ne sais pas exactement ce qui est conservé. Et quand OpenAI rend le tout invisible, la question devient : peux-tu vraiment contrôler ce que l'IA sait de toi ?

Transparence : Les trois plateformes te montrent ta facture, mais aucune ne t'explique clairement à un moment donné la répartition entre cache actif et cache inactif. Tu ne peux pas vérifier si l'économie promise a lieu.

Dépendance : Si tu construis ton application autour du cache de contexte d'un seul fournisseur, tu deviens dépendant de ses règles et de ses prix. Si demain Google décide que la remise passe de 90% à 30%, ton modèle économique s'effondre sans que tu puisses anticiper.

Maintenant, tu sais.

Le cache n'est pas un seul mot. C'est deux systèmes différents. L'un contrôle la vitesse du moteur (KV cache), l'autre contrôle le prix du carburant (cache de contexte).

Cette distinction pose une question que ni Google ni Anthropic ni OpenAI ne règlent dans leur documentation : si ton IA devient indispensable à ton travail, est-ce que tu acceptes de ne pas savoir exactement pour quoi tu paies ?

Sources : Hugging Face KV Caching ; Google Cloud Blog, context caching ; Anthropic API Docs, prompt caching ; OpenAI API Docs, prompt caching ; Spheron, GPU VRAM calculator ; Introl, Prompt Caching Infrastructure 2025.

→ Rejoins la communauté Facebook WebModerne — on en parle sans jargon.