Une autre hiérarchie de l’information scientifique

Ce billet est issu de réflexions personnelles qui ne s’appuient pas sur d’autres travaux. Il est donc certainement imparfait, clairement non-exhaustif et probablement pas assez mature. Vous êtes prévenu. Soyez prudent. C’est dangereux. Non ça va quand même.

Ce matin, je fus quelque peu irrité en entendant sur le podcast de La Tronche En Live, le zoologiste Guillaume Lecointre affirmer que “un résultat qui n’est pas reproduit est oublié”. En réalité, ce n’est pas rare de l’entendre dans le milieu zététique : un article seul n’a pas, ou très peu, de valeur épistémique. Zéro, poubelle !

Mince alors ! Il semble quand même, pour prendre un exemple extrême, que l’expérience d’Alain Aspect sur l’intrication quantique a une telle puissance statistique qu’il a semblé aux physiciens judicieux de fermer les yeux sur son unicité et lui accorder une certaine estime.

Plus bas encore dans la hiérarchie du savoir, il y a le témoignage ! Vecteur de biais par excellence, le témoignage peut être considéré comme un sacrilège, une hérésie, une vanité de la connaissance ! Mais… doit-on alors déconsidérer les sciences humaines, comme la sociologie, qui s’appuient, au moins en partie, sur des témoignages quand bien même ces sciences s’appliqueraient justement à supprimer au mieux les biais potentiels des témoignages ?

À l’autre extrême, on entend souvent qu’une méta-analyse est le plus haut niveau de preuve que l’on puisse atteindre en science. Mais, récemment, la communauté zététique s’est empressée de critiquer vivement une méta-analyse qui prétendait montrer l’efficacité de l’hydroxychloroquine. Et, en l’occurrence, c’était probablement à raison : l’article souffrait de nombreuses failles.

Cette hiérarchie des niveaux de preuves se retrouve un peu partout dans la sphère sceptique. Evidemment, elle est souvent utile, et Guillaume Lecointre a raison en disant, que dans de nombreux contextes un résultat qui n’est pas reproduit a peu de valeur. Dans une certaine mesure, cette hiérarchie est une très bonne approximation de la réalité et peut être très utile dans un cadre pédagogique.

Quelques exemples de ces “hiérarchies de niveaux de preuves” où les pyramides fleurissent comme dans les documentaire de qualité douteuse. Malgré quelques différences, on retrouve toujours plus ou moins la même structure.

Mais se contenter aveuglément de cette règle semble peu judicieux et lorsque l’on veut pousser la réflexion un peu plus loin, cette hiérarchie ne devrait pas être utilisée. Elle est une règle qui a son domaine d’applicabilité restreint et qui est souvent déployée bien au-delà.

Face à cette vision, il existe une autre hiérarchie de l’information scientifique (oui, c’est le titre de l’article) plus simple, plus économe et possiblement aussi facile à communiquer. Elle se base sur la notion de quantité d’information et en particulier sur la capacité à discriminer efficacement les différentes hypothèses.

La bonne et la mauvaise information

Non mais si tu veux. T’as la bonne information : tu l’observes et tu y crois. Bon, tu y crois. Voilà. Puis t’as la la mauvaise information : tu l’observes tu vois. Et bon, tu y crois, mais c’est de la mauvaise information. Parce que c’est pas pareil aussi.

La révélation des pyramides de preuve

Comme le montrent les exemples de l’introduction, la hiérarchie classique de la pyramide de niveau de preuve est faillible. Plus globalement, on peut lui faire les reproches suivant :

• La qualité intrinsèque de l’article n’est pas prise en compte. Ainsi, une étude avec un protocole douteux apparait au même niveau qu’une étude très rigoureuse.
• La taille de l’échantillon n’est pas non plus prise en compte. Ainsi, d’après cette hiérarchie, une méta-analyse rassemblant un total de 500 individus testés serait supérieure à une étude seule sur 1000 individus.
• Une méta-analyse ou une réplication d’étude pourrait répéter toujours les mêmes erreurs de protocole.
• Comment prendre en compte des informations qui sortent de cette classification comme un article de blog, un documentaire, une conférence, un podcast ?
• Cette vision est souvent restreinte à quelques disciplines scientifiques. Quand on dit “en science, une étude seule ne vaut pas grand chose”, en fait on parle surtout de sciences du vivant (médecine, biologie, anthropologie, …) où les variables étudiées sont difficilement contrôlables. Mais cela n’est plus forcément vrai en sciences physiques (mécanique quantique, chimie, cosmologie, …).

Que devrait être une bonne information ?

Afin d’introduire une nouvelle mesure de la qualité d’une information, commençons par poser une question assez simple : Qu’est-ce qu’une bonne information ? Que voudrait-on comme mesure de la qualité de l’information ? Nous verrons ensuite ce que ce critère implique.

Il me semble qu’une réponse satisfaisante est la suivante : Une information est d’autant plus intéressante qu’elle permet de privilégier une hypothèse relativement aux autres.

Une bonne information permet donc de pencher vers une des hypothèses dans des questions comme :

Le médicament X est-il efficace pas sur la pathologie Y ?

Les ondes gravitationnelles se comportent-elles de telle manière ou de telle autre ?

En 2100, la hausse des températures sera de x°C ou de y°C ?

Le solitaire de La Réunion est-il un dronte ou un ibis ?

On se restreint ici à des exemples avec deux hypothèses mais évidemment on pourrait en considérer davantage voire une infinité.

Ces questions se généralisent au delà des considérations scientifiques : Quel temps fera-t-il demain ? Quel film me plaira le plus au cinéma ? Va-t-il y avoir un n-ième confinement ? Ma tante apprécierait-elle le DVD best-of du Morning Live pour son anniversaire ?

Toute information qui me permet de favoriser une hypothèse avec le moins d’ambiguïté possible est une bonne information !

Une question de curseur

En zététique, on utilise souvent le curseur de vraisemblance pour quantifier la vraisemblance d’une proposition A¹. Pour cela, on place notre curseur entre 0% (absolument faux) et 100% (absolument vrai) en fonction des informations dont on dispose.

Exemple de l’utilisation du curseur de vraisemblance. L’hypothèse A est représentée à gauche et son inverse non-A à droite. Pour l’instant mon curseur est plutôt du côté de l’hypothèse A.

À chaque nouvelle information je vais mettre à jour mon curseur. Un peu plus à gauche ou un peu plus à droite suivant que la nouvelle information confirme ou infirme mon hypothèse.

Pour savoir comment je dois mettre à jour le curseur je dois me poser la question suivante : “Quelle est la probabilité d’observer cette information dans chacune des hypothèses ?” Au plus l’observation sera probable dans une des deux hypothèses relativement à l’autre, au plus cela fera bouger mon curseur dans la direction de cette hypothèses.

Exemple 1 : Jeu de pommes Alice, Bob et Charlie cherchent à savoir si une pomme lâchée au dessus du sol retombe toujours. Au début, ils sont totalement ignorants et le curseur de chacun se situe à 50% entre le monde où toutes les pommes tombent au sol et celui où ce n’est pas le cas.

Alice lâche une pomme. Elle tombe. Son curseur va alors se déplacer légèrement sur la gauche (dans le dessin ci-dessous) Bob lâche un cageot entier. Elles tombent toutes. Son curseur va plus considérablement se déplacer vers la gauche. Enfin, le troisième lit un livre de physique qui explique nos connaissances sur la gravité. Son curseur va se déplacer quasiment jusqu’à l’extrémité.

Ainsi, il apparait qu’une information est d’autant plus pertinente qu’elle est plus probable dans une des deux hypothèses :

La chute de l’unique pomme d’Alice est bien expliquée par le monde où toutes les pommes tombent mais reste possible dans le monde où certaines pommes flottent. La chute de tous le cageot de Bob est moins probable dans le monde où certaines pommes flottent. Enfin il est extrêmement peu probable que le livre de physique ait été écrit dans un monde où certaines pommes flottent.

Par ailleurs, on voit que l’on retrouve bien la hiérarchie des niveaux de preuve : une expérience (Alice) vaut moins qu’une expérience répliquée (Bob) qui vaut moins que le consensus scientifique (Charlie).

Exemple 2 : De l’efficacité du médicament X Dans un cas moins caricatural, imaginons un article scientifique qui étudie l’efficacité d’un médicament X sur la pathologie Y. Il cherche donc à distinguer un monde A où le médicament X est efficace du monde non-A où le médicament n’est pas efficace. Considérons que l’article en vient à la conclusion que X est efficace. Cela est donc très probable dans le monde A puisque c’est effectivement ce que l’on s’attend à observer. Mais cela est aussi possible dans le monde non-A : X pourrait ne pas être efficace mais un protocole biaisé, un échantillon trop petit, un traitement statistique douteux, des conflits d’intérêts pourraient amener au résultat inverse. L’ambiguïté du résultat de l’étude entre le monde A et non-A est d’autant plus important que l’étude est de mauvaise qualité.

Ainsi, un article est de bonne qualité s’il empêche au mieux ses résultats d’être explicable par l’hypothèse adverse. Au plus sont réduites les interprétations alternatives, les ambiguïtés, au plus les résultats sont significatifs et donc au plus l’article est de bonne qualité.

De cette règle simple, on retrouve ainsi des idées assez consensuelles : un article est d’autant plus intéressant qu’il évite les biais expérimentaux, qu’il est transparent sur ses conflits d’intérêts, et que sa puissance statistique (la taille de l’échantillon) est importante.

La hiérarchie de niveaux de preuves est une approximation qui découle de la règle que nous avons proposée.

On peut également retrouver la hiérarchie des niveaux de preuves : en répliquant une étude, on augmente la taille de l’échantillon et, en général, on évite de reproduire les mêmes biais et donc la probabilité que le monde non-A puisse expliquer les résultats se réduit.

Mais il ne faut pas oublier que c’est, en réalité, qu’une règle approximative qui compte ses exceptions comme nous l’avons vu dans les exemples de l’introduction.

La pyramide comme bayésianisme de la règle

Cette mesure de la qualité de l’information scientifique s’inscrit en réalité très bien dans un cadre plus formel : celui du bayésianisme. Cette forme d’épistémologie encourage l’utilisation, comme nous l’avons fait, des probabilités pour quantifier nos croyances² et en particulier de la loi de Bayes.

Quand nous énoncions que “le curseur va d’autant plus bouger vers A que le monde A explique mieux l’information que le monde non-A.” cela découle directement de la loi de Bayes³.

Malheureusement, si cette hiérarchie semble plus simple, plus économe et possiblement aussi facile à communiquer elle souffre en revanche d’un manque d’applicabilité direct. Il est possible de comparer deux articles en regardant la taille de leur échantillon et les biais potentiels auxquels ils s’exposent, mais cela demande beaucoup de temps et de compétence. Il est donc plus facile au quotidien d’utiliser la pyramide de niveau de preuve pour pouvoir comparer la qualité de différents articles.

Pour terminer cet article, voici une petite analogie avec une toute autre notion de philosophie : l’utilitarisme. C’est une approche de la morale qui recommande de choisir les actions qui maximisent le bonheur général. Il est, dans les faits, très compliqué d’estimer le bonheur découlant de telle ou telle action. On troque alors cet utilitarisme parfait par un “utilitarisme de la règle” qui donne des heuristiques approximatives qui globalement maximisent le bonheur général. En gros on dira “il ne faut pas tuer” plutôt que de devoir calculer les conséquences sur le bonheur général qu’induirait le meurtre ou non de chaque personne que l’on croise. Ce qui semble être une simplification assez pertinente.

De la même manière, il est aussi très compliqué d’estimer la probabilité d’observation d’une nouvelle information dans chaque hypothèse et on peut alors envisager la pyramide de niveau de preuve comme un bayésianisme de la règle. Elle hiérarchise efficacement les preuves qui seront globalement plus pertinente.

Remerciement à celleux qui m’ont donné leur avis sur cet article et ont permis d’améliorer considérablement son contenu notamment Gaël Violet et les membres du groupe de discussion de Zet-éthique Metacritique : Aure Kyo, Germain Clavier, Nicolas Dritsch, …

Notes

¹Précisons que ce curseur binaire (entre vrai et faux) peut s’élargir à un nombre infini d’interprétations du monde.

Par exemple, si l’on considère la météo qu’il fera demain, on donnera une probabilité à chacune des possibilités (beau, gris, pluie, vent, neige, brouillard, …). Une bonne information est donc celle qui permettra de sensiblement privilégier une réponse par rapport aux autres

¹ Pour plus d’information sur les liens entre bayésianisme et zététique vous pouvez jeter un coup d’œil à cet article.

² La formule de Bayes s’écrit : P(A | I) = P(A) * P(I | A) /P(I) La position du curseur à priori est donnée par P(A)/P(non-A), la position à postériori est donnée par P(A|I)/P(non-A|I). Le rapport entre la position à priori et la position à postériori est donc P(I | A) / P(I | non-A). Ainsi le curseur bouge d’autant plus que A explique mieux I que non-A.