Une IA ne répond pas deux fois exactement pareil. Le taux de réussite d'un prompt, observé sur n essais, est donc une mesure bruitée : il suit une loi binomiale. Avec un prompt A à 70 % et un prompt B à 60 %, l'écart typique entre les deux taux observés sur 10 essais est de 21,2 points, bien plus que les 10 points d'écart réel. Pour que B fasse au moins aussi bien que A dans moins de 5 % des cas, il faut 132 essais par prompt.
Lancer une pièce 3 fois et obtenir 3 piles ne prouve pas qu'elle est truquée. Une seule réponse réussie ne prouve pas qu'un prompt est bon.
Si un prompt réussit avec une probabilité p, le nombre de réussites sur n essais suit une loi binomiale : il varie d'une série à l'autre. L'écart-type du taux observé est √(p(1 − p)/n), et celui de la différence entre deux prompts √(pA(1 − pA)/n + pB(1 − pB)/n). Tant que cet écart-type reste du même ordre que la différence réelle, l'ordre observé des deux prompts peut s'inverser.
Réglez le nombre d'essais par prompt et les taux de réussite réels. Les deux courbes montrent le taux de réussite que vous observeriez : celle du prompt A (bleu) et celle du prompt B (orange). Plus elles se recouvrent, plus l'ordre observé est incertain.
Loi binomiale exacte ; B « aussi bon » signifie que son nombre de réussites est supérieur ou égal à celui de A.
La courbe donne la probabilité que le moins bon prompt paraisse au moins aussi bon, selon le nombre d'essais par prompt ; la ligne pointillée marque 5 %. Elle décroît vite au début puis lentement : avec 5 essais, B fait au moins aussi bien que A 49,6 % du temps ; avec 100 essais, 7,9 % ; il faut 132 essais pour passer sous 5 %.
Chips : risque d'inversion avec les taux réels réglés plus haut.
Voici la démarche, puis un exemple.
import numpy as np from scipy.stats import binom n, pa, pb = 10, 0.70, 0.60 # B (le moins bon) fait au moins aussi bien que A p = sum(binom.pmf(a, n, pa) * binom.sf(a - 1, n, pb) for a in range(n + 1)) # 0.405 ecart = np.sqrt(pa * (1 - pa) / n + pb * (1 - pb) / n) * 100 # 21.2 points
Combien d'essais faut-il pour départager deux prompts avec une confiance raisonnable ? C'est une question de puissance.
Statistiques, finance quantitative, machine learning, deep learning, LLM, agents IA, MLOps : 321 épisodes avec des simulateurs à manipuler, pas des vidéos.
Statistics, quantitative finance, machine learning, deep learning, LLMs, AI agents, MLOps: 321 interactive episodes with simulators to play with, not videos.