Un détecteur qui repère 95 % des vrais cas et se trompe sur 5 % des cas sains paraît excellent. Quand le phénomène recherché est rare (1 compteur sur 100), la plupart des alertes concernent des cas sains. La formule de Bayes donne la probabilité qu'une alerte soit vraie ; elle dépend autant de la rareté que de la fiabilité.
Chercher une aiguille dans une botte de foin avec un détecteur qui se trompe une fois sur vingt : on ramasse surtout des brins de paille. Plus la botte est grande, plus les fausses alertes dominent.
Trois nombres : la prévalence (part des cas réels), la sensibilité (part des cas réels détectés) et la spécificité (part des cas sains laissés tranquilles). La valeur prédictive positive, P(vrai cas | alerte), vaut sensibilité × prévalence divisée par la somme des vrais positifs et des faux positifs. Le plus clair : compter sur 10 000 cas.
Un parc de 10 000 compteurs dont une part est réellement défaillante. Réglez la prévalence, la sensibilité et la spécificité du détecteur. Les barres comptent les alertes : en vert les vraies, en orange les fausses.
Valeurs prédictives : VPP = Se·p / (Se·p + (1−Sp)(1−p)), VPN = Sp(1−p) / (Sp(1−p) + (1−Se)p).
On trace la valeur prédictive positive selon la prévalence (échelle logarithmique), pour trois spécificités : 90 %, 95 %, 99 %, à la sensibilité choisie plus haut. À prévalence faible, même 99 % de spécificité laisse une alerte sur deux fausse.
Chips à la sensibilité et à la spécificité choisies plus haut (95 % et 95 % par défaut).
Voici la démarche, puis un exemple.
def valeur_predictive(prev, sens, spec, N=10_000): reels = N * prev sains = N - reels vrais_positifs = reels * sens faux_positifs = sains * (1 - spec) return vrais_positifs / (vrais_positifs + faux_positifs) print(valeur_predictive(0.01, 0.95, 0.95)) # 0.161 print(valeur_predictive(0.01, 0.95, 0.99)) # 0.490 print(valeur_predictive(0.001, 0.99, 0.99)) # 0.090
Un taux de conversion estimé avec peu de données : comment une croyance de départ et des observations se combinent.
Statistiques, finance quantitative, machine learning, deep learning, LLM, agents IA, MLOps : 321 épisodes avec des simulateurs à manipuler, pas des vidéos.
Statistics, quantitative finance, machine learning, deep learning, LLMs, AI agents, MLOps: 321 interactive episodes with simulators to play with, not videos.