Inférence privée : la vitesse qui fait économiser (et les chiffres qui le prouvent)
Le prix par token est la moitié du coût. L'autre moitié, c'est votre équipe qui attend. Nous calculons le point exact où une slice dédiée bat n'importe quelle API publique.
La conversation sur le pricing en IA reste accrochée à un seul axe : €/M tokens. C'est un axe correct pour comparer des fournisseurs de texte génériques — un mauvais axe dès que l'IA entre dans votre flux de travail réel. Là, le coût pertinent n'est pas les tokens — c'est votre équipe qui attend qu'ils arrivent.
Quand une slice dédiée prend tout son sens
Les fournisseurs publics de tokens OSS (Groq, Together, Fireworks) se situent entre 0,60 €/M et 0,90 €/M en sortie pour un modèle 70B. Nous sommes à 1,60 €/M. Sur le papier, nous sommes 2× plus chers. Ajoutons la vitesse à l'équation et les chiffres s'inversent.
Llama 3.3 70B sur RTX 6000 Ada
~35 tok/s — 8 heures pour générer 1M de tokens
Llama 3.3 70B sur 1/4 B200 MIG
~115 tok/s — 2,4 heures pour le même million
Llama 3.3 70B sur un pod partagé public
Variable : files d'attente, rate-limits, latence ES→US→ES
Llama 3.3 70B sur votre slice dédiée
Fixe : zéro file d'attente, zéro rate-limit, latence Madrid→votre VPN
Le vrai calcul, ce ne sont pas les secondes — ce sont les heures
Le coût évident d'un coding assistant partagé, ce sont les secondes perdues par autocomplétion. C'est réel, mais ce n'est pas ce qui tue les trimestres. Ce qui tue les trimestres, ce sont les heures où le service ne répond tout simplement pas. Deux schémas récurrents :
Pannes globales. Les pages de statut publiques de Claude, OpenAI et GitHub Copilot documentent des dizaines d'heures d'incidents par service et par an. Pour une organisation qui dépend simultanément de plusieurs, l'exposition agrégée dépasse facilement 50 heures/an. Une équipe de seulement 10 développeurs à 60 €/h de coût salarial entièrement chargé (estimation basée sur l'INE ETCL 2025 pour un profil senior du secteur IT) perd par ce canal environ 30 000 €/an en temps direct non facturable — plus du double du coût annuel d'une slice 1/4 B200 réservée. Claude, OpenAI, GitHub Copilot sont d'excellents services, nous les utilisons aussi, mais ils sont best-effort : ils ne signent pas de SLA contractuel avec pénalité réelle pour une seule entreprise.
Rate-limits en concurrence. Lundi 9 h 30, votre équipe lance le sprint et pendant les 20 premières minutes le plugin renvoie 429. Ce n'est pas une panne — c'est un rate-limit partagé parce qu'un gros locataire draine la capacité. Le temps perdu n'apparaît sur aucun tableau de bord d'état public et vos développeurs supposent simplement que « l'IA est lente aujourd'hui ».
Une slice dédiée n'élimine pas que nous ayons aussi des fenêtres de maintenance et des pannes — nous en avons. Ce qu'elle élimine, c'est le couplage avec la saturation d'un service global partagé entre des milliers de clients. Votre slice est la vôtre, avec un SLA contractuel, sans voisins bruyants, et avec un téléphone local à Madrid auquel on répond.
Quel modèle vous convient — et nous proposons les deux
Précision importante : nous proposons les deux produits. Token Factory (au token, hébergé à Madrid) pour la consommation flexible, et slice dédiée (GPU Compute réservé) pour la capacité fixe. Le choix n'est pas « nous contre quelqu'un » — c'est lequel de nos produits correspond à votre profil de consommation.
Slice 1/4 B200 réservée : ~1 190 €/mois. Capacité pratique : 200-300M tokens/mois avant saturation. Token Factory tourne sur la même infrastructure physique, dans la même juridiction.
Consommation faible ou bursty (<50M tokens/mois)
Token Factory — ne justifie pas de réserver de la capacité
Consommation variable avec pics
Token Factory — élasticité sans engager le budget
Consommation constante + données sensibles + NIS2/RGPD
Slice dédiée — isolation matérielle, juridiction unique
Latence déterministe ou SLA contractuel strict
Slice dédiée — zéro file, zéro rate-limit
200M+ tokens/mois soutenus
Slice dédiée — amortissement et capacité fixe
Le pur €/token décide rarement. À faible volume, Token Factory l'emporte par simplicité. À volume constant et critique, la slice l'emporte par déterminisme et juridiction. Et comme les deux sortent du même Tier III à Madrid, la question de la souveraineté est résolue dans les deux cas.
“Le sweet spot est dans des équipes de 4 à 15 développeurs avec un flux constant, du code sensible et un CFO qui pose des questions. Une slice de B200 leur fait économiser dès le premier mois.”
Ce qui n'entre pas dans le tableur
Les économies mesurables (heures × tarif) ne sont que la moitié du dossier. L'autre moitié n'apparaît jamais dans les comptes parce que c'est un coût évité : la perte de concentration chaque fois que vous attendez. Un développeur qui file 10 secondes sur Reddit pendant qu'il attend une autocomplétion est sorti du contexte de la tâche. Y revenir coûte entre 23 secondes et 23 minutes selon la littérature (Mark, 2008 ; Czerwinski 2004). Ce coût n'apparaît sur aucune facture, mais c'est lui qui détruit la productivité réelle.
La part souveraine
Les chiffres ci-dessus sont la partie dure. Mais il existe un second facteur qui inverse l'équation dans la banque, le secteur public, la défense et la santé : si votre API publique est soumise au CLOUD Act, la slice dédiée ne rivalise plus en €/token, elle rivalise en « existe comme option ». Nous exploitons un seul datacenter Tier III à Madrid, déjà certifié ISO 27001 et ENS Media, avec isolation au niveau VM et slices MIG par matériel. Quand le régulateur demande où sont traitées les données, la réponse est une seule ville, une seule juridiction.