Un modèle prédit le churn avec 92 % d’accuracy. Pourtant, la campagne de rétention coûte plus cher et contacte surtout des clients qui seraient restés. Le modèle classe correctement une population déséquilibrée, mais ne répond pas à la décision.
La bonne question n’est pas « peut-on prédire ? ». C’est « quelle action devient meilleure ? »
1. Définition : l’IA prédictive estime un futur ou un état inconnu
L’IA prédictive utilise données historiques et variables disponibles au moment de la décision pour estimer une quantité, une classe, une probabilité, une anomalie ou un classement. Elle comprend prévision de séries temporelles, scoring, risque, recommandation et détection.
La data science couvre un ensemble plus large : exploration, expérimentation, causalité, optimisation et mise en forme de la décision. Un modèle prédictif dit ce qui est probable ; une analyse causale tente d’estimer ce qui changerait sous une action.
Prévoir un retard ne le réduit pas. Le système doit choisir qui alerter, quand, avec quelle ressource et quel coût d’erreur, puis vérifier si l’action améliore réellement le résultat.
2. Chiffres clés : davantage de modèles, aucune méthode universelle
- En France, 41 % des entreprises utilisatrices d’IA en 2024 recouraient au machine learning pour l’analyse de données, selon l’Insee ; plus d’une entreprise utilisatrice sur deux combinait au moins deux technologies.
- Eurostat mesure que 20 % des entreprises européennes d’au moins dix personnes utilisaient une technologie d’IA en 2025, contre 13,5 % en 2024. Cette diffusion augmente le nombre de décisions potentiellement influencées par des modèles.
- La compétition M4 a comparé 61 méthodes sur 100 000 séries temporelles. Parmi les 17 méthodes les plus précises, 12 combinaient plusieurs approches ; la meilleure hybride améliorait d’environ 10 % la sMAPE par rapport au benchmark de combinaison.
- Les six méthodes de machine learning « pures » de M4 ont obtenu des résultats faibles, aucune ne dépassant le benchmark de combinaison. Ce résultat de 2018 ne condamne pas le ML moderne ; il démontre l’importance des baselines et des ensembles sur des données variées.
- La M5 a ensuite travaillé sur 42 840 séries hiérarchiques de ventes Walmart, illustrant une contrainte essentielle : une prévision par article doit rester cohérente avec magasin, région et total.
- Le NIST AI RMF demande des processus de test, évaluation, vérification et validation objectifs, répétables ou évolutifs, ainsi qu’une interprétation dans le contexte d’usage. Une métrique hors production ne suffit pas.
Le choix de méthode suit la donnée et la décision. L’étiquette « IA » n’accorde aucun avantage statistique.
3. La table décisionnelle : neuf colonnes avant la première ligne de code
Construisez une table où chaque ligne représente une décision opérationnelle. Les neuf colonnes obligent à définir le produit, pas seulement la cible.
4. Colonne 1 — Décision et décideur
Écrivez l’action : commander, rappeler, inspecter, prioriser, fixer un stock, déclencher une maintenance ou examiner une fraude. Nommez la personne ou le service qui utilise le résultat.
« Prédire la demande » est trop vague. « Recommander chaque lundi la quantité à commander pour les quatre semaines suivantes, sous contrainte de capacité et de péremption » définit un usage mesurable.
Observez le calendrier. Une prévision produite après la commande, même exacte, n’a aucune valeur. Les variables doivent exister avant le point de décision et le service respecter son délai.
5. Colonne 2 — Baseline actuelle
Documentez règle, intuition, modèle simple ou absence de décision. Mesurez sa performance et son coût sur la même période que le futur système.
Une moyenne saisonnière, la dernière valeur, une régression ou un score métier offre une référence indispensable. Dans M4, des combinaisons statistiques simples ont surpassé plusieurs approches complexes ; battre une baseline crédible est plus instructif que publier un score sans comparaison.
La baseline humaine inclut capacité et information réelles. Un expert qui reçoit dix dossiers par jour ne peut pas être comparé à un modèle classant dix mille cas sans contrainte de revue.
6. Colonne 3 — Résultat et horizon
Définissez cible, unité, horizon, fréquence et délai de disponibilité de la vérité. Le défaut à 30 jours, la demande à 12 semaines et la valeur client à deux ans produisent des modèles et cycles d’apprentissage différents.
Évitez les proxies non validés. Un clic ne remplace pas un achat, une absence de réclamation ne prouve pas la satisfaction, et un dossier non contrôlé n’est pas nécessairement sans fraude.
La vérité peut évoluer après coup : retour, remboursement, réouverture ou reclassement. Versionnez les labels et définissez quand une cohorte devient assez mature pour l’évaluation.
7. Colonne 4 — Population et données disponibles
Décrivez qui ou quoi reçoit une prédiction, les exclusions, la couverture et les sources au moment exact. Analysez données manquantes, retardées, dupliquées, censurées ou issues d’une politique précédente.
7.1. Éviter la fuite
Une variable créée après l’événement, un code posé par l’enquêteur ou une agrégation calculée sur le futur donne une performance artificielle. Les divisions d’entraînement doivent respecter le temps, les entités et les groupes.
Dans une prévision, utilisez validation glissante : entraînement sur le passé, test sur une fenêtre future, puis déplacement. Un split aléatoire mélange saisons et peut laisser des observations voisines de la même série dans les deux ensembles.
7.2. Comprendre le biais de sélection
Les fraudes confirmées proviennent des dossiers contrôlés, qui n’ont pas été choisis au hasard. Les clients ayant reçu une offre ne montrent pas ce qui serait arrivé sans offre. Le dataset reflète la politique historique autant que le phénomène.
Documentez ce mécanisme et collectez de l’exploration contrôlée lorsque cela est éthique et possible.
8. Colonne 5 — Coût des erreurs et métriques
Accuracy, RMSE ou AUC ne traduisent pas automatiquement la décision. Construisez la matrice économique des vrais/faux positifs et négatifs, puis choisissez les métriques qui exposent les compromis.
8.1. Classification
Précision répond : parmi les alertes, combien sont correctes ? Rappel : parmi les vrais cas, combien détecte-t-on ? AUC mesure le classement sur tous les seuils, mais l’opération choisit un seuil précis et une capacité limitée.
Si un événement touche 1 % de la population, prédire « non » partout offre 99 % d’accuracy et zéro utilité. Publiez matrice de confusion, courbes, performance au seuil et nombre absolu de dossiers.
8.2. Prévision
MAE décrit une erreur absolue moyenne, RMSE punit davantage les grands écarts, MAPE devient instable près de zéro, et les métriques pondérées reflètent l’importance commerciale. Ajoutez biais, couverture des intervalles et cohérence hiérarchique.
La bonne métrique reste compréhensible par l’opérateur et liée à une perte.
9. Colonne 6 — Probabilité, intervalle et calibration
Un score de 0,8 doit signifier qu’environ 80 % des cas comparables se réalisent, si l’usage exige une probabilité. Il peut bien classer et rester mal calibré.
Les diagrammes de fiabilité comparent probabilité prédite et fréquence observée par tranche. Le Brier score et la log-loss sont des règles de score propres, mais la documentation scikit-learn rappelle qu’un Brier plus faible peut refléter discrimination et incertitude, pas uniquement meilleure calibration.
Pour une prévision, fournissez des quantiles ou intervalles. Un stockeur décide différemment entre 1 000 unités avec intervalle 950–1 050 et la même moyenne avec 400–1 600.
Testez calibration par segment et période. Une moyenne correcte peut cacher une surestimation systématique chez les nouveaux clients ou pendant les promotions.
10. Colonne 7 — Action, seuil et capacité
Le seuil vient du coût, de la capacité et du recours. Si l’équipe peut examiner 200 dossiers, le modèle doit optimiser la valeur des 200 premiers, pas une métrique globale.
10.1. Traduire le score
- sous un seuil : traitement standard ;
- zone intermédiaire : collecte d’information ou intervention légère ;
- au-dessus : action prioritaire ;
- hors distribution : abstention ou expertise.
Le seuil peut varier par conséquence, jamais par caractéristique protégée sans analyse juridique et de non-discrimination. Toute différenciation doit avoir une justification métier et un contrôle.
10.2. Séparer prédiction et prescription
Un client à fort risque de départ n’est pas forcément celui qu’une remise sauvera. L’uplift modeling ou l’expérimentation cherche l’effet hétérogène de l’action ; sans cela, l’entreprise peut subventionner les clients qui seraient restés ou irriter ceux qui ne voulaient pas partir.
Le passage du risque à l’intervention mérite sa propre preuve causale.
11. Colonne 8 — Intégration et recours
Le résultat arrive dans un outil, à une personne, avec contexte, explication et délai. L’interface montre facteurs utiles sans présenter une corrélation comme une cause.
L’opérateur accepte, modifie ou refuse et peut signaler une donnée fausse. Les corrections suivent un processus : elles ne réentraînent pas immédiatement le modèle ni ne deviennent une vérité sans validation.
Pour les décisions touchant des personnes, organisez information, contestation et revue selon le droit applicable. Un score opaque ne doit pas devenir un verdict irréversible.
12. Colonne 9 — Impact et règle de retrait
Mesurez d’abord la performance technique sur des données futures, puis l’impact de la décision. Une expérience, un déploiement progressif ou une comparaison de sites peut estimer ventes, retards, pannes, pertes ou satisfaction modifiés.
Préenregistrez les seuils : gain minimal, erreur maximale, disparité tolérée, coût, disponibilité et charge. Définissez retrait ou retour baseline si un indicateur casse.
Cette estimation peut rester précise et perdre son utilité parce que prix, capacité ou stratégie ont changé. La règle de retrait porte donc sur le système métier complet.
13. Trois produits prédictifs, trois dessins différents
13.1. Prévision de demande
Le produit délivre une distribution par article, lieu et horizon. Il intègre promotions, jours, ruptures, prix, événements et hiérarchie. L’optimisation de commande ajoute coûts de stockage, rupture, péremption et capacité.
La validation respecte le temps et compare naïf saisonnier, méthode statistique, ML et combinaison. Le modèle champion peut varier par segment ; un ensemble robuste bat parfois une architecture unique.
13.2. Scoring de risque
Le produit classe une population et calibre une probabilité. Il suit performance au seuil, faux positifs/négatifs, stabilité, disparités, intervention et recours.
Le score ne remplace pas la politique. Il l’alimente avec une estimation dont l’usage, la période et les limites sont documentés.
13.3. Détection d’anomalies
Le produit repère un écart à une normalité définie. Comme les anomalies sont rares et changeantes, la qualité se juge sur alertes utiles, temps de détection, couverture d’incidents et fatigue des opérateurs.
Une méthode non supervisée détecte l’étrange, pas automatiquement la fraude ou la panne. La qualification humaine et les incidents confirmés créent progressivement un référentiel.
14. Quand un score de prévision peut détruire de la valeur
Une chaîne de magasins prédit chaque soir la demande à sept jours et transmet directement les quantités au moteur de réapprovisionnement. Le score moyen s’améliore de 8 % par rapport à la baseline, mais les ruptures augmentent sur les références stratégiques et les stocks gonflent sur les produits à faible rotation.
Le diagnostic montre que la métrique pondère chaque série de manière presque égale, tandis que l’économie varie fortement : manquer un produit d’appel coûte davantage qu’une erreur identique sur une référence secondaire, et surstocker un article périssable détruit plus de valeur qu’une unité supplémentaire de produit durable.
L’équipe reconstruit donc la perte métier avec marge, rupture, substitution, péremption et espace. Elle ajoute une contrainte de cohérence entre article, catégorie et magasin, puis compare trois politiques de commande sur un backtest temporel qui reproduit les délais et limites des fournisseurs.
Une autre erreur apparaît. Les semaines de rupture historique enregistrent des ventes faibles, que le modèle interprète comme une demande faible ; sans variable de disponibilité ni estimation de la demande censurée, le système apprend à réduire précisément les articles qui avaient déjà manqué.
Le correctif ne consiste pas seulement à changer l’algorithme. L’entreprise améliore les données de stock, distingue demande observée et demande potentielle, place un plancher sur certains produits et demande une validation quand la recommandation sort de la distribution historique.
Enfin, un essai par groupes de magasins compare la nouvelle politique au réapprovisionnement existant. La direction suit marge nette, disponibilité, valeur du stock, gaspillage et temps d’intervention, car une prévision plus précise ne justifie le déploiement que si la décision complète produit un meilleur compromis.
Après huit semaines, l’erreur statistique baisse moins que prévu, mais la disponibilité augmente de deux points et le gaspillage recule. Le projet réussit grâce à une fonction de perte plus fidèle, des données corrigées et une politique bornée, non grâce à la sophistication brute du modèle.
La leçon dépasse le retail : toute métrique technique devient dangereuse lorsqu’elle ignore l’asymétrie des conséquences, la censure créée par l’ancienne politique et les contraintes qui transforment la prédiction en action.
15. Cas chiffré : churn, propension et uplift
Une entreprise compte 100 000 clients, dont 10 % partent dans les trois mois. Un modèle de churn identifie 20 000 clients à risque avec 30 % de départ : 6 000 churners, soit 60 % de rappel, et 14 000 faux positifs.
Une remise de 20 € est envoyée aux 20 000, coût maximal 400 000 €. Le taux de départ baisse à 24 %, mais sans groupe contrôle on ne sait pas combien seraient restés ni l’effet chez les autres.
Un essai randomisé sur la population éligible montre ensuite : 30 % de départ sans offre, 26 % avec offre. Le lift absolu est quatre points, soit 800 départs évités sur 20 000 ; coût brut 500 € par client sauvé si toutes les remises sont consommées, avant valeur de rétention.
L’analyse d’uplift identifie un sous-groupe de 6 000 clients où l’écart atteint douze points. Traiter seulement ce groupe évite environ 720 départs pour 120 000 €, soit 167 € brut par client sauvé, tout en réduisant le nombre de remises inutiles.
Les chiffres sont illustratifs. Ils montrent que prédire le risque, estimer l’effet et optimiser la décision sont trois problèmes distincts.
16. Surveiller la production : quatre dérives
16.1. Dérive des données
Les distributions d’entrée changent : nouveaux produits, canaux, formats ou données manquantes. Comparez à la référence et qualifiez l’impact, sans alerter sur chaque variation bénigne.
16.2. Dérive du concept
La relation entre variables et résultat évolue. Un comportement jadis annonciateur du churn ne l’est plus après une modification de contrat.
16.3. Dérive de politique
Le modèle change les actions, qui changent les données futures. Un contrôle ciblé augmente les fraudes confirmées dans un segment, puis le modèle apprend que ce segment est intrinsèquement plus risqué.
16.4. Dérive de valeur
Coûts, prix, capacité ou objectifs évoluent. Le même score nécessite un autre seuil ou ne mérite plus d’intervention.
Surveillez qualité, calibration, volume, coût, segments, intervention et résultat. Planifiez recalibration, réentraînement, nouvelle validation ou retrait selon le diagnostic.
17. Architecture du service prédictif
- contrats et qualité de données ;
- features calculées avec temporalité correcte ;
- dataset/version/lineage ;
- entraînement reproductible ;
- registre de modèles et approbation ;
- batch ou API avec SLA ;
- règles, seuils et capacité métier ;
- interface et recours ;
- suivi technique, statistique et économique ;
- fallback vers baseline.
Le fallback est une fonction normale. Si les données du jour manquent, la décision doit savoir revenir à une règle sûre.
18. Programme Logiks sur douze semaines
18.1. Semaines 1 à 3 — Table décisionnelle et baseline
Définir action, population, horizon, coûts, capacité et règle actuelle. Auditer la temporalité des données.
18.2. Semaines 4 à 6 — Backtest et calibration
Construire les splits temporels, comparer baselines et modèles, évaluer segments, probabilités et intervalles. Documenter les erreurs.
18.3. Semaines 7 à 9 — Shadow mode
Produire les scores sans changer la décision. Vérifier délai, couverture, interface et stabilité sur des données réellement futures.
18.4. Semaines 10 à 12 — Impact contrôlé
Ouvrir l’action sur un périmètre, mesurer résultat et coût, maintenir un contrôle ou une comparaison. Décider de l’échelle selon la valeur nette.
Ce calendrier est un exemple Logiks. La maturité des labels, la saisonnalité et l’horizon peuvent imposer plusieurs mois.
19. Conseils Logiks : douze pièges classiques
- choisir l’accuracy sur un événement rare ;
- entraîner avec une variable du futur ;
- randomiser une série temporelle ;
- supprimer les ruptures de stock comme des zéros ordinaires ;
- confondre score et probabilité ;
- ignorer les intervalles ;
- optimiser l’AUC sans capacité opérationnelle ;
- traiter le risque comme effet de l’action ;
- réentraîner sur les décisions du modèle sans exploration ;
- expliquer une corrélation comme une cause ;
- surveiller les features sans surveiller la valeur ;
- conserver un modèle parce qu’il a coûté cher.
Tout modèle reste une hypothèse exploitée. Elle reste révocable.
20. FAQ
20.1. Quelle différence entre prévision et prédiction ?
La prévision porte souvent sur une valeur future indexée dans le temps ; prédiction inclut classes, scores et états inconnus. Les deux exigent validation hors échantillon.
20.2. Quel algorithme choisir ?
Comparez baseline, méthodes statistiques, arbres, réseaux ou combinaisons sur vos données, votre horizon, votre coût et vos contraintes. Le plus précis n’est pas toujours le plus utile.
20.3. AUC ou accuracy ?
Ni l’une ni l’autre seule. Utilisez précision, rappel, matrice, calibration, performance au seuil et valeur attendue selon le problème.
20.4. Comment détecter la dérive ?
Surveillez entrées, résultat, calibration, résidus, segments, actions et économie. Une variation de distribution n’implique pas toujours une baisse utile.
20.5. Faut-il expliquer chaque prédiction ?
Le niveau dépend du risque et de l’usage. L’opérateur a besoin d’un contexte actionnable, le gouverneur d’une validation globale, la personne concernée d’une information et d’un recours adaptés.
20.6. Quand retirer un modèle ?
Quand il ne bat plus la baseline, dépasse erreurs ou disparités, coûte plus que sa valeur, ne peut être maintenu ou ne correspond plus à la décision.
21. Conclusion
L’IA prédictive ne transforme pas les données en certitude. Elle transforme une incertitude en estimation, puis l’entreprise décide si cette estimation mérite une action.
Définissez la décision. Respectez le temps. Comparez une baseline. Calibrez les probabilités. Séparez prédiction et causalité. Mesurez enfin l’impact et gardez une voie de retour.
La valeur apparaît après le score.
22. Sources principales
- Insee, Intelligence artificielle dans les entreprises, 14 octobre 2025 : https://www.insee.fr/fr/statistiques/8616837
- Eurostat, 20% of EU enterprises use AI technologies, 11 décembre 2025 : https://ec.europa.eu/eurostat/web/products-eurostat-news/w/ddn-20251211-2
- Makridakis, Spiliotis et Assimakopoulos, The M4 Competition: 100,000 time series and 61 forecasting methods, International Journal of Forecasting : https://www.sciencedirect.com/science/article/pii/S0169207019301128
- Google Research, The M4 Forecasting Competition — A Practitioner’s View : https://research.google/pubs/the-m4-forecasting-competition-a-practitioners-view/
- Makridakis et al., M5 accuracy competition, données de 42 840 séries : https://www.sciencedirect.com/science/article/pii/S0169207021001874
- NIST, AI RMF Core — Measure : https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
- scikit-learn, Probability calibration : https://scikit-learn.org/stable/modules/calibration.html