Pratiques de recherche douteuses dans les sciences du comportement et comment les corriger
En 2012, Shu, Mazar, Gino, Ariely et Bazerman ont publié une étude intitulée "Signer au début rend l'éthique évidente et diminue les déclarations malhonnêtes par rapport à signer à la fin".1 L'étude a démontré que le fait de demander aux gens de signer une déclaration d'intention honnête avant de fournir des informations - par exemple, lors de la soumission d'une demande d'assurance - peut réduire de manière significative la malhonnêteté, par rapport aux personnes qui signent une telle déclaration après avoir fourni des informations.
Depuis sa publication, l'article a reçu des centaines de citations, devenant influent dans l'étude des comportements malhonnêtes. Cependant, une réplication ratée en 2020 et un article viral publié en août 2021 sur le blog Data Colada, spécialisé dans les sciences du comportement, ont remis en question les résultats des études et l'intégrité des chercheurs2.
Sans surprise, ces révélations ont provoqué une onde de choc dans l'ensemble des sciences du comportement. En effet, l'article accusait Dan Ariely, l'un des principaux universitaires dans ce domaine, de fabriquer des données (une allégation qu'il a fermement démentie).
Pourquoi les auteurs du post Data Colada ont-ils accusé uniquement Ariely de fabrication de données, alors qu'il avait quatre autres coauteurs ? Parce qu'Ariely était le seul auteur responsable de l'étude en question (étude 3). Ils sont parvenus à cette conclusion en raison d'un certain nombre d'anomalies dans l'ensemble de données original de l'étude 3, qu'il est difficile d'expliquer autrement que par une manipulation délibérée.
L'une des découvertes notables a été que les données de l'étude 3, qui prétendaient examiner le nombre de kilomètres parcourus par les clients de l'assurance automobile, présentaient une distribution si uniforme qu'elle était statistiquement impossible. Les chercheurs à l'origine du billet de blog ont également examiné la feuille de calcul contenant les données de l'étude 3 et ont conclu que de nombreux points de données avaient été dupliqués et légèrement modifiés.
Nous ne savons toujours pas avec certitude ce qui s'est passé dans ce cas, et tous les auteurs de l'article ont déclaré qu'ils n'étaient pas au courant de ces anomalies et qu'ils ne savent pas comment elles sont apparues. L'objectif de cet article n'est pas de résumer tout ce qui a été révélé par le post Data Colada, mais plutôt d'examiner pourquoi ce type de fraude (s'il s'agit bien d'une fraude) se produit dans le monde universitaire, et d'explorer certains changements structurels qui pourraient améliorer les pratiques de recherche partout dans le monde.
Les sciences du comportement, démocratisées
Nous prenons 35 000 décisions par jour, souvent dans des environnements qui ne sont pas propices à des choix judicieux.
Chez TDL, nous travaillons avec des organisations des secteurs public et privé, qu'il s'agisse de nouvelles start-ups, de gouvernements ou d'acteurs établis comme la Fondation Gates, pour débrider la prise de décision et créer de meilleurs résultats pour tout le monde.
Pourquoi la fraude se produit-elle dans le monde universitaire ?
Le monde universitaire est difficile. En tant qu'étudiante diplômée en sciences du comportement, j'ai été directement témoin de la pression que les gens subissent pour réussir dans ce domaine. L'un de mes professeurs m'a confié qu'il ne dormait que quatre heures par nuit, et sa situation n'est pas unique. Dans une interview accordée à Slate, une professeure de commerce anonyme a déclaré qu'elle s'était "tuée à la tâche" alors qu'elle travaillait pour passer d'une université de premier cycle de niveau moyen à un poste de professeur de haut niveau.3 Ce faisant, elle s'est aliénée ses étudiants, a contrarié son conseiller académique et a sacrifié sa santé.
Ces expériences ne sont pas surprenantes si l'on considère l'importance de la publication d'articles dans des revues universitaires. Les universités utilisent fréquemment le nombre de publications et de citations d'un individu comme mesure de son succès et, par conséquent, il est devenu l'un des critères les plus importants pour le recrutement et l'avancement.4 Cette culture du "publier ou périr" a conduit les chercheurs à se démener pour publier tout ce qu'ils peuvent, au lieu de consacrer du temps à développer des recherches qui repoussent les frontières de la science.4
La concurrence croissante a même poussé certains chercheurs à recourir à des pratiques contraires à l'éthique, telles que le découpage en tranches de salami (diviser la même recherche en plusieurs "tranches" publiables), le p-hacking (utilisation abusive de techniques d'analyse statistique pour tenter de trouver un résultat publiable dans un ensemble de données), voire la fraude pure et simple. (Il convient de noter que toutes les pratiques de recherche douteuses ne sont pas délibérées ; voir l'effet "regard ailleurs").
L'évolution vers la science ouverte
Alors que la prise de conscience de ces problèmes dans le domaine des sciences du comportement s'accroît, le mouvement de la science ouverte apparaît comme une solution partielle. Bien qu'il n'y ait pas de doctrine ou de document unique qui rende compte de manière définitive de la science ouverte5, celle-ci peut être définie de manière générale comme un ensemble de pratiques qui augmentent la transparence et l'accessibilité de la recherche scientifique6.
L'un des éléments clés de la science ouverte est le pré-enregistrement, qui intervient généralement avant que le ou les chercheurs ne mènent leur étude. Un plan de recherche, qui peut inclure la ou les questions de recherche, les hypothèses, le ou les plans d'expérience, les plans de collecte et d'analyse des données, etc. sont tous enregistrés publiquement sur des sites web tels que AsPredicted.
L'objectif de l'enregistrement préalable est de permettre au(x) chercheur(s) d'être transparent(s) sur les objectifs et les méthodes de l'étude. Une fois leur étude préenregistrée, il ne leur est pas interdit de modifier leur plan de recherche, mais ils doivent justifier et documenter les raisons de ces changements. Il s'agit d'éviter que les chercheurs ne modifient leurs hypothèses a posteriori, pour s'aligner sur les résultats statistiquement significatifs qu'ils ont pu trouver dans leurs données.
De nombreux chercheurs publient également leurs données et leur code sur des sites web tels que Open Science Framework et Nature Scientific Data afin que d'autres puissent les reproduire, détecter d'éventuelles erreurs et effectuer des analyses alternatives/supplémentaires. Le partage public du code et des données permet également de réaliser des études de réplication. L'équipe de Data Colada et un groupe de chercheurs anonymes ont pu découvrir la nature frauduleuse des données de l'étude 3 parce que les auteurs de l'article de 2012 ont publié les données. (Ceci étant dit, je pense personnellement que tous les auteurs de l'article de 2012 respectent les bonnes pratiques de recherche. C'est simplement que quelque chose a terriblement mal tourné avec les données de l'étude 3).
En tant qu'étudiante en sciences du comportement, je suis très heureuse de savoir que de nombreux chercheurs respectés soutiennent le mouvement Open Science. Francesca Gino, l'un des auteurs de l'article de 2012, a déclaré en réponse à l'article de Data Colada : "Bien que très douloureuse, cette expérience a renforcé mon fort engagement en faveur du mouvement Open Science. Comme elle le montre clairement, la publication de données, le pré-enregistrement d'études et la réplication de recherches antérieures sont essentiels au progrès scientifique. "2a
Les bonnes choses prennent du temps
Peter Higgs a remporté le prix Nobel de physique en 2013 pour ses travaux sur la masse des particules subatomiques. Alors qu'il se rendait à Stockholm pour recevoir le prix Nobel en 2013, il a déclaré au Guardian : "Aujourd'hui, je n'obtiendrais pas de poste universitaire. C'est aussi simple que cela. Je ne pense pas que je serais considéré comme suffisamment productif".7 Même s'il parlait du domaine de la physique, il en va de même pour le domaine des sciences du comportement et des sciences sociales en général.
Le monde universitaire semble avoir oublié l'expression "la qualité prime sur la quantité". La publication de trois articles de recherche de haute qualité devrait être considérée comme tout aussi productive, voire plus productive, que la publication de dix articles de moindre qualité. La culture hypercompétitive du domaine a poussé de nombreux chercheurs à recourir à des pratiques contraires à l'éthique, comme la fabrication de données, afin de préserver leur carrière.
Comme nous l'avons vu dans le témoignage de personnes telles que le professeur anonyme cité plus haut, ces exigences élevées peuvent nuire à la santé et à la capacité d'enseigner des universitaires. Mais les conséquences négatives ne s'arrêtent pas là. Au cours de la dernière décennie, l'utilisation de la science du comportement par les organisations des secteurs public et privé a rapidement augmenté ; les résultats publiés sont devenus la base de changements politiques, d'initiatives commerciales, de programmes d'entraide, etc. Si ces résultats s'avèrent frauduleux, cela pourrait avoir d'énormes conséquences négatives sur la prise de décision des gouvernements, des organisations et des particuliers.
Le mouvement Open Science est un pas dans la bonne direction, mais il ne s'attaque pas à la racine du problème. Il y aura toujours des pratiques de recherche contraires à l'éthique si la culture du "publier ou périr" persiste. À mon avis, les décisions d'embauche et de promotion ne devraient pas être fortement basées sur le nombre d'articles publiés et de citations obtenues. Les universités devraient envisager une approche différente, en accordant peut-être plus d'importance aux capacités d'enseignement et aux commentaires des étudiants. Selon vous, quels sont les changements à apporter ?
References
- Shu, L. L., Mazar, N., Gino, F., Ariely, D. et Bazerman, M. H. (2012). Signer au début rend l'éthique saillante et diminue les déclarations malhonnêtes par rapport à signer à la fin. Proceedings of the National Academy of Sciences, 109(38), 15197-15200.
- Simonsohn, U., Simmons, J., & Nelson, L. (2021, 17 août). [98] Evidence of Fraud in an Influential Field Experiment About Dishonesty (Preuves de fraude dans une expérience de terrain influente sur la malhonnêteté). Data Colada. https://datacolada.org/98
non défini - Warner, J., & Clauset, A. (2015, 23 février). Le sale secret de l'Académie. Slate Magazine. Consulté le 4 novembre 2021 à l'adresse suivante : https://slate.com/human-interest/2015/02/university-hiring-if-you-didn-t-get-your-ph-d-at-an-elite-university-good-luck-finding-an-academic-job.html
- Rawat, S. et Meena, S. (2014). Publier ou périr : Où allons-nous ? Journal of research in medical sciences : the official journal of Isfahan University of Medical Sciences, 19(2), 87.
- Hong, M. et Moran, A. (2019, février). Une introduction à la science ouverte. American Psychological Association. Consulté le 8 octobre 2021 sur https://www.apa.org/science/about/psa/2019/02/open-science.
- van der Zee, T., & Reich, J. (2018). Open Education Science. AERA Open.
- Aitkenhead, D. (2013, 6 décembre). Peter Higgs : je ne serais pas assez productif pour le système académique d'aujourd'hui. The Guardian. Consulté le 8 octobre 2021 à l'adresse https://www.theguardian.com/science/2013/dec/06/peter-higgs-boson-academic-system.
About the Author
Shi Shi Li
Shi Shi est actuellement étudiante en sciences du comportement et de la décision à l'université de Pennsylvanie. Elle s'intéresse à l'utilisation des connaissances en sciences du comportement pour résoudre un large éventail de problèmes auxquels notre société est confrontée aujourd'hui. Lorsqu'elle ne lit pas les derniers articles sur les sciences du comportement, elle aime peindre et jouer à des jeux vidéo avec ses amis. Elle est également titulaire d'une licence en économie et en psychologie de l'université de Californie du Sud.
