Hello !
Durant mon externat j’ai suivi une conf de ma fac où l’intervenant disait que le seuil de significativité de 5% en médecine était très criticable, que c’était un vieux dogme et qu’il fallait faire évoluer les pratiques etc.
Me voilà quelques années plus tard avec mon sujet de thèse et un résultat principal presque significatif (p à 0,12). On m’a clairement fait comprendre que je devrais continuer à chercher tant que je n’aurais rien de significatif à présenter… Sauf que j’ai beau croiser toutes les données de la base du service, je ne retrouve rien de significatif. Il n’y a que 31 sujets dans cette base et j’imagien que ça n’aide pas (manque de puissance ?).
Est-ce que vous auriez des articles que je pourrais citer et qui me permettrait de changer mon seuil de significativité (par exemple le mettre à 15% pour que mon résultat passe significatif). Est-ce que c’est quelque chose qui se fait habituellement ?
Bonjour, bienvenue sur le forum !
Pour vous répondre d’emblée : non, modifier le seuil de significativité n’est pas la solution à votre problème.
Votre question soulève plusieurs problèmes. J’ai bien conscience que certains directeurs poussent leurs internes à trouver des résultats significatifs à tout prix mais c’est une pratique dangereuse qui risque de vous amener à des conclusions erronées. La démarche scientifique consiste à :
- Poser une hypothèse
- La vérifier
De ce que vous décrivez, vous essayez plutôt l’invserse :
- Croiser toutes les variables possibles en espérant trouver un résultat significatif
- Trouver une explication plausible à ces résultats
En faisant cela vous prenez le risque de trouver un résultat significatif uniquement du fait du hasard (risque alpha) et qui n’est la réponse à aucune question scientifiquement valable.
Notez qu’avec un seuil de significativité à 5%, vous avez 5% de risque de trouver un résultat significatif lié au hasard. Ce risque est cumulatif (5% de risque en plus à chaque nouveau test). Raison de plus pour bien réfléchir aux analyses que vous souhaitez avant de les réaliser.
Quand bien même vous souhaiteriez explorer au maximum cette base de données, essayez au moins de formuler des hypothèses intéressantes avant de réaliser des tests.
Ensuite, la significativité est un élément de second plan (surtout avec un faible effectif). Votre p-value exprime la significativité d’un résultat (appelé « taille d’effet »). Cette taille d’effet est plus importante que votre p-value. Par exemple si vous avez réalisé un Chi2 → quel est l’OR obtenu ou la différence relative entre vos 2 groupes ? Si vous avez réalisé un Student → quelle est la différence moyenne entre vos 2 groupes ?
Avant de parler de significativité, regardez si cette taille d’effet est intéressante sur le plan clinique. Une réduction de 20% de la mortalité est par exemple un résultat spectaculaire même s’il n’est pas significatif → c’est un message fort qui invite à reproduire votre étude avec un plus gros effectif pour vérifier si la tendance se confirme.
A l’inverse une réduction de mortalité de 0,01% est probablement négligeable même si ce résultat était significatif.
Explorez donc en priorité la taille d’effet associée à votre p-value de 0,12. Ce résultat est la réponse à votre objectif principal. Quand bien même ce résultat serait néglieable sur le plan clinique, l’absence de résultat est une information intéressante qu’il faut communiquer car d’autres équipes pourraient avoir la même idée et s’économiser une étude à la vue de votre résultat.
Concernant la modification du seuil de significativité : il est vrai que ce seuil de 5% est de plus en plus décrié et demeure ancré dans la littérature par dogmatisme. La principale critique consiste à dire qu’un cutoff inflexible à 5% ne rime à rien et qu’il ne faut pas ignorer un résultat sous pretexte que la p-value obtenue était de 0.051.
Trop souvent le lecteur se focalise sur la une notion binaire de significativité (oui/non) alors qu’il faut lire la taille d’effet et la valeur exacte de la p-value pour interpréter un résultat.
La p-value étant liée à la taille de votre effectif, votre p-value de 0,12 obtenue avec seulement 31 sujets doit soulever l’intérêt du lecteur.
Pour aller plus loin je vous invite à consulter cet article en open access : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3444174/#:~:text=While%20a%20P%20value%20can,essential%20results%20to%20be%20reported.