Diffuser des résultats négatifs

Les données négatives : la partie immergée de l’iceberg des publications scientifiques

Sommaire

I didn’t fail. I’ve just found 10 000 ways that won’t work.

Thomas Edison

A la fin du 19ème siècle, l’expérience de Michelson et Morley tentait de mettre en évidence les propriétés de l’éther luminifère, ce “fluide” qui devait remplir la quasi intégralité de ce qui est aujourd’hui communément désigné comme “l’espace”. A la suite de nombreuses expériences, ces deux scientifiques n’ont jamais pu démontrer l’objet de leur étude, n’obtenant que des résultats négatifs. Pourtant, leurs travaux ont été le terreau de ce qui deviendra, quelques décennies plus tard, la théorie de la relativité d’Einstein. Ces résultats dits “négatifs”, car non-concluants, ont ainsi contribué à l’une des plus grandes découvertes scientifiques.
 
Aujourd’hui pourtant, les résultats négatifs occupent une place quasiment anecdotique dans le paysage des publications scientifiques. Pouvant être considérés comme un élément peu flatteur dans la carrière des chercheurs, ils sont néanmoins indissociables de leur travail. Dans le contexte actuel de questionnement de la valeur des productions scientifiques, de leur évaluation et de leur “ouverture”, certaines revues font évoluer leur ligne éditoriale dans un sens plus favorable aux données négatives. Tour d’horizon d’un enjeu peu présent dans les agendas institutionnels, mais dont l’intérêt scientifique est pourtant reconnu.

Qu’est-ce qu’un résultat négatif ?

Le résultat d’une expérience est désigné comme “négatif” lorsqu’il ne permet pas de valider avec une puissance statistique suffisamment forte l’hypothèse formulée au départ. Ce non-aboutissement n’est pas forcément synonyme d’échec. Il peut aussi produire un résultat inattendu susceptible d’être exploré. Les résultats dits « négatifs », plus agréablement désignés comme « non-concluants », sont ainsi à distinguer des résultats « positifs », qui parviennent à corroborer l’hypothèse formulée au départ.

Toutefois, le concept de « résultats négatifs » souffre d’une absence de définition communément admise. Il peut englober de très nombreuses notions. Selon Rémi Thomasson, chercheur en biologie et co-fondateur de la revue Negative Results [1], les résultats négatifs peuvent également désigner des résultats qui « entrent en opposition » avec des connaissances préexistantes. Ce cas de figure se présente lorsque malgré de multiples tentatives, un chercheur ne parvient pas à reproduire une expérience dans le cadre de résultats déjà publiés. Les résultats obtenus seraient ainsi en opposition avec l’état des connaissances initiales et seraient qualifiés de négatifs.

L’état actuel des publications

Quelle place les résultats négatifs occupent-ils dans la littérature scientifique ? Une étude [2] publiée en 2012 s’est intéressée à la proportion de résultats positifs et négatifs pour des articles publiés entre 1990 et 2007. Les auteurs concluent à une augmentation de 20% de la publication des articles à “résultats positifs”, qui représenteraient aujourd’hui près de 86% des articles publiés, au détriment des résultats dits non-concluants, qui perdent en visibilité.  

Les causes de cette sous-représentation

Plusieurs raisons peuvent expliquer le manque de visibilité des résultats négatifs. Une étude espagnole publiée en juillet 2020 [3] montre que le facteur le plus important concernant le déclin de ce type de résultat est le manque de mobilisation des chercheurs, qui ne souhaitent pas consacrer du temps de rédaction à une activité jugée secondaire, entrant potentiellement en concurrence avec d’autres tâches plus valorisantes ou indispensables. Ce phénomène a ainsi été qualifié de “biais de publication” ou encore “d’effet tiroir” [4], en référence au fait que les chercheurs, moins enclins à attribuer du temps à la publication de ce type de résultats, conservent ces données au fond de leurs tiroirs sans jamais leur donner de visibilité. 

Le deuxième facteur est structurel : les éditeurs privilégient la publication de découvertes de pointe susceptibles de faire l’objet de nombreuses citations au sein de la communauté disciplinaire concernée. Cette tendance a deux effets pervers. D’une part, elle tend à restreindre la liberté de publication des chercheurs. D’autre part, le principe du “publish or perish”, dans lequel les données négatives n’ont pas vraiment leur place, fait peser un risque sur la fiabilité des contenus publiés [5]. Ainsi, des pratiques telles que le HARKing (pour Hypothesing After the Results are Known, une pratique consistant à formuler l’hypothèse après avoir réalisé l’expérimentation afin de valider l’hypothèse formulée) ou encore le p-value hacking (le fait de ne garder que les résultats statistiquement viables afin de confirmer l’hypothèse de départ) sont des dérives apparues dans ce contexte concurrentiel.

Enfin, la qualité des résultats négatifs publiés (comme de toute donnée sujette à plusieurs biais) est tributaire de plusieurs facteurs qui doivent être pris en compte avant de conclure définitivement à une hypothèse non-probante : échantillons étudiés trop peu nombreux, test statistique à faible puissance, erreur dans le protocole, instrument mal calibré etc. Ces aléas, de nature à altérer la fiabilité des données négatives, doivent être pris en compte.

Les conséquences d’un déficit d’accès aux données négatives

Comme vu précédemment, les résultats négatifs ont tendance à disparaître de la littérature scientifique. Cette évolution n’est pas sans conséquences. En effet, elle induit une vision incomplète de l’état des différents domaines de la science [6]. Or, l’accès à une vision moins lacunaire de l’état d’avancement d’un domaine pourrait avoir un effet bénéfique sur les chercheurs qui gagneraient du temps en écartant les hypothèses de recherche déjà invalidées par ailleurs.

Les éditeurs commerciaux seront-ils susceptibles d’infléchir leur politique éditoriale ? C’est peu probable, selon Bernard Rentier, ancien recteur de l’Université de Liège et auteur de Science ouverte, le défi de la transparence. « L’interaction entre les chercheurs doit donc inclure l’ensemble des accomplissements de recherche, qu’ils soient glorieux ou non. Seules des plateformes publiques seront à même de publier des résultats négatifs et il faudra veiller à ce qu’elles le fassent effectivement ». A ce jour, peu d’initiatives ont émergé, à l’exception du projet associatif Gaffex porté par le chercheur Gilmary Gallon, qui travaille actuellement à la mise en place d’une plateforme de partage « d’expériences ratées », dont la version bêta est en cours d’élaboration.

Les solutions proposées

Pour pallier le déficit de diffusion des données négatives, plusieurs solutions émergent au sein des différentes communautés scientifiques, facilitées par l’appui encore très ponctuel de certains éditeurs : 

  • Des revues scientifiques permettent une mise en avant des résultats négatifs :
    Une section dédiée dans la revue PlosONE par exemple a été créée dans cette optique.
    – Les revues ACS Omega et F1000Research ont entrepris la même démarche. Cette-dernière a par ailleurs lancé un appel aux chercheurs il y a quelques années pour les inciter à publier leurs résultats négatifs au sein de leur revue. Pendant une période limitée, la revue dispensait ainsi les chercheurs des frais de publication s’ils soumettaient des articles fondés sur des expériences infructueuses.
    – En octobre 2020, l’éditeur IOP a quant à lui annoncé une révision de sa politique éditoriale, à travers la revue IOP SciNotes notamment.
    – BMC research notes a lancé une collection consacrée aux résultats négatifs.
    – L’American Heart Association a récemment fait de même avec le lancement de « Null Hypothesis Collection. »
    L’Université d’Utrecht a lancé le Journal of trial and error (JOTE) disponible en accès ouvert et sans frais de publication.
    Emergent Scientist, qui valorise les publications de chercheurs en devenir (niveau master) en les invitant à fournir une “dead-end section” exposant leurs résultats négatifs en physique et mathématiques.
    Negative Results est une revue entièrement dédiée à la publication de résultats négatifs. Créée par des chercheurs français, elle se concentre sur la publication de résultats négatifs dans le domaine de la biologie.
    Journal of Pharmaceutical Negative Results est également une revue focalisée sur la publication de ce type de résultats. Comme son nom l’indique, cette revue est orientée vers la publication de résultats dans le domaine pharmaceutique.
  • Du côté des agrégateurs de références bibliographiques, les expériences inabouties peuvent aussi être référencées. C’est le cas de SciFinder-n, en chimie, qui donne la possibilité d’explorer les réactions chimiques qui ont échoué et de consulter en commentaire quelles en sont les causes, lorsque celles-ci sont renseignées.
  • Le recours aux cahiers de laboratoire électroniques. En favorisant la préservation et le partage des protocoles d’expériences, les chercheurs peuvent plus facilement retrouver les expériences infructueuses et les rendre disponibles, sans que cette tâche ne soit trop chronophage.
  • Valoriser la publication de résultats non-probants. C’est l’objectif du prix de l’ENCP Negative Results Prize, qui récompense les meilleurs résultats négatifs dans le domaine médical.

Pour aller plus loin…

– True or False: Publishing Negative Results Ruins Your Science Career
– Be positive about negatives–recommendations for the publication of negative (or null) results
– Invisible science: publication of negative research results

  1. MÉDIAS.d – Université Paris Descartes; [consulté le 11 mai 2021]. Disponible: https://mediasd.parisdescartes.fr/#/watch?id=I_sgozMuse9xl
  2. Fanelli, D. “Negative results are disappearing from most disciplines and countries.” Scientometrics 90 (2011): 891-904.
  3. Lucía Echevarría, Alberto Malerba, and Virginia Arechavala-Gomeza. Nucleic Acid Therapeutics. Ahead of print http://doi.org/10.1089/nat.2020.0865
  4. Sharma H, Verma S. Is positive publication bias really a bias, or an intentionally created discrimination toward negative results? Saudi J Anaesth. 2019;13(4):352‑5.
  5. On Medicine [En ligne]. Gabriella Anderson. No result is worthless: the value of negative results in science; 30 nov 1apr. J.-C. [cité le 1 déc 2020]. Disponible: http://blogs.biomedcentral.com/on-medicine/2012/10/10/no-result-is-worthless-the-value-of-negative-results-in-science/
  6. Bernard R, Weissgerber TL, Bobrov E, Winham SJ, Dirnagl U, Riedel N. fiddle: a tool to combat publication bias by getting research out of the file drawer and into the scientific community. Clin Sci (Lond). Portland Press; 30 oct 2020;134(20):2729‑39
  7. Mlinarić A, Horvat M, Šupak Smolčić V. Dealing with the positive publication bias: Why you should really publish your negative results. Biochem Med (Zagreb) [En ligne]. 15 oct 2017 [cité le 16 nov 2020];27(3). Disponible: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5696751/