Bonnes pratiques

Les données négatives : la partie immergée de l’iceberg des publications scientifiques

Sommaire

I didn’t fail. I’ve just found 10 000 ways that won’t work.

Thomas Edison

A la fin du 19ème siècle, l’expérience de Michelson et Morley tentait de mettre en évidence les propriétés de l’éther luminifère, ce “fluide” qui devait remplir la quasi intégralité de ce qui est aujourd’hui communément désigné comme “l’espace”. A la suite de nombreuses expériences, ces deux scientifiques n’ont jamais pu démontrer l’objet de leur étude, n’obtenant que des résultats négatifs. Pourtant, leurs travaux ont été le terreau de ce qui deviendra, quelques décennies plus tard, la théorie de la relativité d’Einstein. Ces résultats dits “négatifs”, car non-concluants, ont ainsi contribué à l’une des plus grandes découvertes scientifiques.
 
Aujourd’hui pourtant, les résultats négatifs occupent une place quasiment anecdotique dans le paysage des publications scientifiques. Pouvant être considérés comme un élément peu flatteur dans la carrière des chercheurs, ils sont néanmoins indissociables de leur travail. Dans le contexte actuel de questionnement de la valeur des productions scientifiques, de leur évaluation et de leur “ouverture”, certaines revues font évoluer leur ligne éditoriale dans un sens plus favorable aux données négatives. Tour d’horizon d’un enjeu peu présent dans les agendas institutionnels, mais dont l’intérêt scientifique est pourtant reconnu.

Qu’est-ce qu’un résultat négatif ?

Le résultat d’une expérience est désigné comme “négatif” lorsqu’il ne permet pas de démontrer avec une puissance statistique suffisamment forte l’hypothèse formulée au départ. Ce non-aboutissement n’est pas forcément synonyme d’échec. Il peut aussi produire un résultat inattendu susceptible d’être exploré. Les résultats dits « négatifs », plus agréablement désignés comme « non-conclusifs », sont ainsi à distinguer des résultats « positifs », qui parviennent à démontrer l’hypothèse formulée au départ.

L’état actuel des publications

Quelle place les résultats négatifs occupent-ils dans la littérature scientifique ? Une étude [1] publiée en 2012 s’est intéressée à la proportion de résultats positifs et négatifs pour des articles publiés entre 1990 et 2007. Les auteurs concluent à une augmentation de 20% de la publication des articles à “résultats positifs”, qui représenteraient aujourd’hui près de 86% des articles publiés, au détriment des résultats dits non-concluants, qui perdent en visibilité.  

Les causes de cette sous-représentation

Plusieurs raisons peuvent expliquer le manque de visibilité des résultats négatifs. Une étude espagnole publiée en juillet 2020 [2] montre que le facteur le plus important concernant le déclin de ce type de résultat est le manque de mobilisation des chercheurs, qui ne souhaitent pas consacrer du temps de rédaction à une activité jugée secondaire, entrant potentiellement en concurrence avec d’autres tâches plus valorisantes ou indispensables. Ce phénomène a ainsi été qualifié de “biais de publication” ou encore “d’effet tiroir” [3], en référence au fait que les chercheurs, moins enclins à attribuer du temps à la publication de ce type de résultats, conservent ces données au fond de leurs tiroirs sans jamais leur donner de visibilité. 

Le deuxième facteur est structurel : les éditeurs privilégient la publication de découvertes de pointe susceptibles de faire l’objet de nombreuses citations au sein de la communauté disciplinaire concernée. Cette tendance a deux effets pervers. D’une part, elle tend à restreindre la liberté de publication des chercheurs. D’autre part, le principe du “publish or perish”, dans lequel les données négatives n’ont pas vraiment leur place, fait peser un risque sur la fiabilité des contenus publiés [4]. Ainsi, des pratiques telles que le HARKing (pour Hypothesing After the Results are Known, une pratique consistant à formuler l’hypothèse après avoir réalisé l’expérimentation afin de valider l’hypothèse formulée) ou encore le p-value hacking (le fait de ne garder que les résultats statistiquement viables afin de confirmer l’hypothèse de départ) sont des dérives apparues dans ce contexte concurrentiel.

Enfin, la qualité des résultats négatifs publiés (comme de toute donnée sujette à plusieurs biais) est tributaire de plusieurs facteurs qui doivent être pris en compte avant de conclure définitivement à une hypothèse non-probante : échantillons étudiés trop peu nombreux, test statistique à faible puissance, erreur dans le protocole, instrument mal calibré etc. Ces aléas, de nature à altérer la fiabilité des données négatives, doivent être pris en compte.

Les conséquences d’un déficit d’accès aux données négatives

Comme vu précédemment, les résultats négatifs ont tendance à disparaître de la littérature scientifique. Cette évolution n’est pas sans conséquences. En effet, elle induit une vision incomplète de l’état des différents domaines de la science [5]. Or, l’accès à une vision moins lacunaire de l’état d’avancement d’un domaine pourrait avoir un effet bénéfique sur les chercheurs qui gagneraient du temps en écartant les hypothèses de recherche déjà invalidées par ailleurs.

Les solutions proposées

Pour pallier le déficit de diffusion des données négatives, plusieurs solutions émergent au sein des différentes communautés scientifiques, avec l’appui de certains éditeurs : 

  • Le recours aux cahiers de laboratoire électroniques. En favorisant la préservation et le partage des protocoles d’expériences, les chercheurs peuvent plus facilement retrouver les expériences infructueuses et les rendre disponibles, sans que cette tâche ne soit trop chronophage.
  • Valoriser la publication de résultats non-probants. C’est l’objectif du prix de l’ENCP Negative Results Prize, qui récompense les meilleurs résultats négatifs dans le domaine médical.

Pour aller plus loin…

– True or False: Publishing Negative Results Ruins Your Science Career
– Be positive about negatives–recommendations for the publication of negative (or null) results
– Invisible science: publication of negative research results

  1. Fanelli, D. “Negative results are disappearing from most disciplines and countries.” Scientometrics 90 (2011): 891-904.
  2. Lucía Echevarría, Alberto Malerba, and Virginia Arechavala-Gomeza. Nucleic Acid Therapeutics. Ahead of print http://doi.org/10.1089/nat.2020.0865
  3. Sharma H, Verma S. Is positive publication bias really a bias, or an intentionally created discrimination toward negative results? Saudi J Anaesth. 2019;13(4):352‑5.
  4. On Medicine [En ligne]. Gabriella Anderson. No result is worthless: the value of negative results in science; 30 nov 1apr. J.-C. [cité le 1 déc 2020]. Disponible: http://blogs.biomedcentral.com/on-medicine/2012/10/10/no-result-is-worthless-the-value-of-negative-results-in-science/
  5. Bernard R, Weissgerber TL, Bobrov E, Winham SJ, Dirnagl U, Riedel N. fiddle: a tool to combat publication bias by getting research out of the file drawer and into the scientific community. Clin Sci (Lond). Portland Press; 30 oct 2020;134(20):2729‑39
  6. Mlinarić A, Horvat M, Šupak Smolčić V. Dealing with the positive publication bias: Why you should really publish your negative results. Biochem Med (Zagreb) [En ligne]. 15 oct 2017 [cité le 16 nov 2020];27(3). Disponible: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5696751/