Longueur idéale, créneau miracle, accroche infaillible : les conseils de publication reposent presque toujours sur quelques posts. Voyons ce que valent des chiffres obtenus sur si peu de mesures.
En métrologie, on ne règle pas un instrument sur une seule lecture : on répète la mesure, on regarde la dispersion, et on ne conclut que si l'écart dépasse l'incertitude. Un conseil de publication, c'est une lecture unique d'un instrument très bruité.
Aucun de ces pièges ne suppose de la mauvaise foi : ils se produisent tout seuls dès que l'on tire une conclusion de peu de posts.
Vous publiez n posts avec un conseil et n posts sans. Les impressions suivent une loi log-normale : un écart-type du logarithme de 1 signifie qu'environ un post sur six dépasse 2,7 fois l'impression médiane (hypothèse du simulateur, à ajuster avec vos propres données). Ici, on rejoue le même test 4 000 fois : l'histogramme montre l'écart que vous auriez observé à chaque fois.
Écart observé = rapport des moyennes géométriques (avec / sans) moins 1. Le test est un test de Welch sur le logarithme des impressions, seuil de 5 %. Les tirages sont reproductibles : le même réglage donne toujours le même graphique.
Imaginez que vous testiez k conseils, tous sans aucun effet réel, chacun sur n posts contre n posts de référence. Chaque barre est l'écart observé pour un conseil. Les barres orange passent le seuil classique de 5 %.
Dans cette simulation, aucun des conseils n'a d'effet réel : tout ce qui dépasse le seuil est de la chance. La correction de Bonferroni consiste à diviser le seuil par le nombre de conseils testés.
Pas besoin d'un laboratoire : quelques règles suffisent pour ne plus se tromper sur un conseil.
import numpy as np from scipy.stats import ttest_ind avec = np.array([...]) # impressions des posts avec le conseil sans = np.array([...]) # impressions des posts sans le conseil # Welch sur le logarithme : un post viral ne décide plus tout seul t, p = ttest_ind(np.log(avec), np.log(sans), equal_var=False) ecart = np.exp(np.log(avec).mean() - np.log(sans).mean()) - 1 k = 20 # nombre de conseils testés significatif = p < 0.05 / k # correction de Bonferroni
Combien de messages faut-il envoyer pour savoir si une méthode est meilleure qu'une autre ? Taux de conversion, taille d'échantillon, intervalle de confiance.
Statistiques, finance quantitative, machine learning, deep learning, LLM, agents IA, MLOps : 321 épisodes avec des simulateurs à manipuler, pas des vidéos.
Statistics, quantitative finance, machine learning, deep learning, LLMs, AI agents, MLOps: 321 interactive episodes with simulators to play with, not videos.