Trois cas sur quatre, c'est 75 %. Trois cas sur quatre, c'est aussi très peu de choses. Quand un pourcentage repose sur un petit effectif, il bouge au moindre cas ajouté ou retiré. Ce guide donne les réflexes pour ne pas s'y laisser prendre.
Toujours demander la base
Un pourcentage sans effectif est un chiffre sans poids. « 50 % de réussite » peut vouloir dire 5 sur 10 ou 500 sur 1 000, et la solidité de l'information n'est pas la même. Dans un tableau, cherchez l'effectif à côté de chaque proportion, ou la note qui le donne.1
Voir l'effet d'un seul cas
Sur un échantillon de dix personnes, un cas de plus ajoute dix points. Sur mille personnes, il ajoute un dixième de point. Avant de commenter un écart, faites ce test simple : de combien changerait le pourcentage si un seul cas basculait ? Si la réponse est « beaucoup », l'écart est fragile.
Calculer l'incertitude
Une proportion observée sur un échantillon s'accompagne d'une fourchette. Plus l'effectif est petit, plus elle est large, et elle ne se resserre que lentement : pour diviser la marge par deux, il faut quatre fois plus de réponses.2 Un intervalle de confiance rend cette incertitude visible au lieu de l'ignorer.
Ne pas sur-interpréter les sous-groupes
Un échantillon correct pour l'ensemble de la population peut devenir minuscule quand on le découpe par âge, par région ou par catégorie. Les résultats de chaque sous-groupe reposent alors sur quelques dizaines de réponses. Méfiez-vous des classements fondés sur de tels découpages : l'ordre peut changer avec un tirage différent.
Regrouper ou attendre
Face à de petits effectifs, deux attitudes honnêtes existent : regrouper les catégories ou les périodes pour obtenir plus de cas, ou attendre d'avoir plus de données. Dire « le résultat n'est pas assez robuste pour être commenté » est une conclusion légitime.3
Un exemple pour fixer les idées
Un questionnaire indique que 3 répondants sur 4 sont satisfaits. Sur 4 personnes, ce 75 % est compatible avec une satisfaction réelle comprise entre 30 % et 95 % environ, tant l'incertitude est grande. Sur 400 réponses, avec le même 75 %, la fourchette se resserre entre 70,5 % et 79 %. Le pourcentage affiché est identique ; la confiance qu'on peut lui accorder n'a rien à voir. Les exemples chiffrés de ce guide sont illustratifs.
Checklist de lecture
- J'ai trouvé l'effectif derrière chaque pourcentage.
- J'ai testé l'effet d'un cas de plus ou de moins.
- J'ai regardé la marge d'erreur ou l'intervalle.
- Je ne commente pas un sous-groupe de quelques dizaines de réponses.
- J'ai envisagé de regrouper les catégories.
Questions fréquentes
À partir de combien de réponses un pourcentage est-il fiable ?
Il n'y a pas de seuil universel. Plus que la taille brute, regardez la marge d'erreur qui en découle et la taille de l'écart que vous voulez commenter.
Un petit échantillon est-il toujours inutile ?
Non : il peut suffire à détecter un très gros écart. Il ne permet simplement pas de départager des résultats proches.
Notes
- Une bonne publication donne l'effectif de base de chaque pourcentage, ou précise la population quand elle est identique partout.↩
- La marge d'erreur de la moyenne ou de la proportion varie avec l'inverse de la racine de l'effectif.↩
- Beaucoup de rapports remplacent les valeurs trop rares par une mention de confidentialité ou de fiabilité insuffisante.↩
Ce guide présente des principes généraux et ne note ni ne recommande aucun site de l'annuaire. Les exemples chiffrés sont illustratifs. Les règles de droit éventuellement évoquées sont simplifiées : vérifiez-les auprès des sources officielles.
Prêt à chercher ? Parcourez les 21 sites de la rubrique Petits effectifs.
Ouvrir la rubriqueOutils utiles pour ce thème
- nTaille d'échantillon nécessaireCombien de réponses pour une marge d'erreur visée
- ±Marge d'erreur d'une proportionLa fourchette autour d'un pourcentage de sondage
- [ ]Intervalle de confiance d'une proportionFourchette de Wilson et fourchette classique