Tests anti-hiérarchiques

Vous connaissez peut-être les tests hiérarchiques; une manière de gérer la multiplicité des tests en planifiant une liste de tests, à réaliser dans un ordre précis. Chaque test est réalisé à un niveau de significativité donné (5% le plus souvent). Les tests sont effectués tant qu’ils sont tous significatifs (p < 5%) et il y a un arrêt de la procédure au premier test échoué (p > 5%).Cela permet de contrôler le risque alpha global à 5% ainsi que les risques alpha associés à chaque test.

Voici la procédure en résumé:

  1. Une liste de tests est pré-planifiée
  2. On effectue tous les tests dans la liste, tant que tous les résultats sont significatifs (p < 5%)
  3. On s’arrête de tester au premier résultat non significatif (p > 5%)

J’ai constaté que dans la pratique, une approche inversée est fréquemment employée:

  1. La liste de tests n’est pas pré-planifiée, mais est décidée au fur et à mesure, selon les résultats précédents
  2. On effectue des tests tant que les résultats sont tous non-significatifs (p > 5%)
  3. On s’arrête de tester au premier résultat significatif (p < 5%)

Vous comprenez alors pourquoi j’appelle cela les tests anti-hiérarchiques.

Cette méthode est capable d’engendrer une inflation majeure du risque alpha malgré un Bonferroni, parce que le nombre de tests n’est pas défini à l’avance. En effet, même si on applique rigoureusement un Bonferroni à chaque étape, le risque alpha sera environ égal à 5% (1er test) + 5%/2 (2ème test) + 5%/3 (3ème test) + 5%/4 + …

En réalité, cette formule est inexacte car les risques ne s’additionnent pas tout à fait. En considérant que les risques sont indépendants, on peut calculer qu’avec 20 tests, le risque alpha atteint 16,6% et avec 100 tests, il atteint 23% (cf code R qui suit).

1-prod(1 - 0.05/(1:20))
1-prod(1 - 0.05/(1:100))

Si les tests sont positivement corrélés, le risque croit moins vite que ça. Néanmoins, on ne contrôle toujours pas le risque alpha, malgré un Bonferroni appliqué à chaque nouveau test réalisé.

Il existe pourtant une méthode de contrôle du risque alpha des tests anti-hiérarchiques : réaliser chaque nouveau test avec un niveau de significativité deux fois inférieur au précédent, tout en commençant le 1er test à la moitié du risque alpha.

Ainsi, pour contrôler un risque alpha à 5%, le premier test sera réalisé au seuil de significativité 5%/2, le second sera réalisé au seuil 5%/4, le troisième au seuil 5%/8, le quatrième au seuil 5%/16 et le n-ième au seuil 5%/(2^n). La série mathématique additionnant tous ces seuils tend vers 5%, et donc, quel que soit le nombre de tests réalisés, le risque alpha reste contrôlé.

J’attends avec impatience le 1er article qui contiendra dans sa partie statistique : « nous avons post-planifié l’ensemble des analyses par une méthode anti-hiérarchique avec procédure de correction de multiplicité de type Bonferroni d’acier upgradé »

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *