Les pièges de la science comportementale : Comment éviter les données douteuses
Le domaine des sciences du comportement est en crise
Le domaine des sciences du comportement est passé de l'ombre à la lumière. Comme toute chose, elle a connu des difficultés de croissance. Bien que la discipline ait fait d'énormes progrès depuis ses origines, la crise actuelle est une crise de l'évidence.
À quoi ressemble une crise des preuves ? Certaines études comportementales n'utilisent qu'une gamme étroite de stimuli pour déduire leurs conclusions. D'autres négligent la question de savoir si leurs stimuli peuvent être généralisés dans le monde réel, en dehors des essais cliniques.1 D'autres encore peuvent avoir utilisé des méthodes de mesure qui se sont avérées invalides par la suite.
Questions de publication en sciences du comportement
Rétractations de documents de recherche
La rétractation d'articles de recherche est la vedette médiatique de la nouvelle crise des sciences du comportement. Les rétractations peuvent se produire pour un certain nombre de raisons, notamment:2
- Erreurs (qu'elles soient honnêtes ou négligentes) dans le processus de collecte des données ou dans les méthodes de recherche
- Résultats non reproductibles
- Mauvaise conduite, par exemple fabrication de résultats
Les rétractations dans le domaine des sciences du comportement sont en augmentation, avec un taux de croissance plus rapide que celui des autres publications scientifiques.5 Avant d'être rétractées, ces études ont pu être utilisées comme preuves pour mettre en œuvre des interventions ou guider d'autres études.
L'interprétation optimiste : il est plausible que la raison pour laquelle davantage d'articles sont rétractés soit due à l'importance accrue accordée à la détection des erreurs, des fautes professionnelles et des pratiques de recherche erronées au cours des dernières années.
Rétractations cumulées d'articles de recherche scientifique de 2010 à 2018.
Grant culture
Dans le monde académique de la culture des subventions, les universités récompensent les chercheurs en fonction du montant des subventions qu'ils obtiennent. Malheureusement, l'importance accordée aux subventions ne signifie pas nécessairement que les résultats des études seront favorisés de la même manière par les administrations universitaires.3
Ces environnements peuvent être des incubateurs de pratiques de recherche douteuses : certains chercheurs peuvent donner la priorité à la quantité de subventions plutôt qu'à la fiabilité des résultats si les deux sont en conflit.3
Manque de généralisation
Historiquement, les spécialistes du comportement ont tendance à mener des recherches sur un sous-ensemble de la population - le plus pratique étant les étudiants de premier cycle dans les pays occidentaux.
La recherche comportementale est confrontée à un problème WEIRD : nous suréchantillonnons largement les populations occidentales, éduquées, industrialisées, riches et démocratiques.4 Le fait de se concentrer sur ce sous-ensemble crée non seulement des biais, mais conduit à des généralisations mal informées lorsqu'elles sont appliquées à des populations non WEIRD, c'est-à-dire la majorité de la population mondiale.5,6,4
Manque de reproductibilité
Les revues sont moins enclines à accepter les études de reproductibilité qui ont échoué, et les chercheurs sont donc moins enclins à les soumettre.7
En outre, les laboratoires qui mènent des études de reproductibilité sont probablement les mêmes que ceux qui ont publié l'article initial, ce qui accroît le risque de biais de confirmation et d'autres pratiques de recherche douteuses8 . Ils sont donc plus exposés au risque de biais de confirmation et à d'autres pratiques de recherche douteuses.8
Biais de publication
Tout comme le manque d'incitation à publier des études de réplication, les résultats négatifs ou statistiquement non significatifs sont plus susceptibles d'être ignorés par les revues.9,10 Les chercheurs sont incités par leurs institutions affiliées à être publiés, et cette pression peut conduire à la fabrication de faux positifs ou à la surestimation de l'ampleur de l'effet.11,12
Un biais de publication peut également apparaître car les chercheurs peuvent ne pas vouloir soumettre aux revues des études de reproductibilité qui ont échoué, et parce que les revues sont moins susceptibles de les accepter si elles sont soumises.7
Il existe des stratégies prometteuses pour les praticiens
La mise en œuvre des résultats d'une recherche comportementale valide présente d'immenses avantages pour la société. Pour mettre en œuvre de manière responsable les résultats obtenus sur le terrain, les praticiens doivent :
- Faire appel à une équipe d'experts familiarisés avec les concepts des sciences du comportement
- Pousser à la mise en place de cadres de préparation (comme pour l'ingénierie aéronautique et la recherche génétique).
Le fait qu'une personne soit un expert en sciences du comportement ne signifie pas qu'elle connaisse tous les concepts de ces sciences. Bien qu'un chercheur puisse avoir de solides compétences en matière d'analyse, son expertise est probablement limitée.
Il est possible d'y remédier en mettant en œuvre des interventions de sciences comportementales avec une équipe, plutôt qu'avec un seul spécialiste des sciences comportementales.
Des moyens efficaces pour aborder l'incertitude dans les sciences du comportement
Engager un cabinet de conseil
Alors que les chercheurs sont incités à publier, les cabinets de conseil sont incités à aider leurs clients.
Les entreprises spécialisées dans les sciences du comportement sont motivées pour mener des recherches qui évitent les études biaisées ou non répétées, afin d'obtenir des résultats percutants et de préserver leur réputation auprès des clients. De la même manière que vous ne commenceriez pas à travailler sur une fusée spatiale sans engager des ingénieurs, il est judicieux de faire appel à un expert en sciences du comportement pour vous aider à éviter les écueils.
Encourager l'utilisation de cadres de préparation comportementale
Lorsque le domaine de la génétique a été créé, il a connu un grand nombre des mêmes crises que les sciences du comportement. Cependant, ce domaine a depuis consacré beaucoup de temps à l'élaboration de flux de recherche, à l'harmonisation des données et à diverses autres méthodologies qui ont permis d'améliorer la précision de leurs mesures.13
Les cadres de préparation sont un moyen de classer la qualité des preuves dans un domaine donné. Ils peuvent prendre de nombreuses formes, parfois présentées sous la forme d'une échelle allant du moins au plus prêt, ou sous la forme d'un organigramme contenant tous les facteurs nécessaires au succès.
Les cadres de préparation ont soutenu de nombreux domaines confrontés à des dilemmes en matière de qualité des preuves. La NASA est un grand partisan des cadres de préparation dans le domaine de l'ingénierie aéronautique : elle a créé des TRL (niveaux de préparation technologique) pour évaluer systématiquement la qualité des preuves utilisées par ses équipes.14
Un modèle proposé pour la recherche en psychologie, similaire à ceux de l'ingénierie aéronautique et de la génétique, comprend 9 niveaux de préparation des preuves (ERL). Il va de 1 (les parties prenantes et les chercheurs ont défini le problème) à 9 (la solution finale peut résoudre une crise avec succès).13
De la même manière que nous attendons pour lancer des vaisseaux spatiaux en orbite qu'ils soient aussi proches que possible d'une précision de 100 %, nous devrions exiger le même niveau de rigueur dans les sciences du comportement afin d'atténuer les divers problèmes susmentionnés. Lorsque vous engagez un consultant en sciences du comportement, assurez-vous qu'il utilise des études qui se situent à un niveau élevé sur l'échelle de préparation.
Raisons de s'inquiéter, raisons de s'encourager
Bien que des questions telles que la culture des subventions et les biais de publication soient des motifs d'inquiétude, il existe de nombreuses possibilités de s'assurer que vos décisions sont fondées sur les meilleures recherches disponibles. Le développement du PSA, associé aux cadres de préparation aux sciences comportementales et à l'existence de cabinets de conseil en sciences comportementales dignes de confiance, est porteur d'espoir pour l'avenir du domaine.
Le Decision Lab est un cabinet de conseil comportemental qui utilise la science pour faire avancer le bien social. Nous travaillons avec des marques internationales qui sont à la pointe de la technologie et de l'innovation, en utilisant les meilleures pratiques de recherche pour fournir des informations comportementales solides. Si vous souhaitez bénéficier de l'assistance d'un expert pour tirer parti de la science comportementale dans votre entreprise, contactez-nous.
References
- Judd, C. M., Westfall, J. et Kenny, D. A. (2012). Traiter les stimuli comme un facteur aléatoire en psychologie sociale : Une solution nouvelle et complète à un problème omniprésent mais largement ignoré. Journal of Personality and Social Psychology, 103(1), 54-69. https://doi.org/10.1037/a0028347
- Hantula, D. A. (2019). Editorial : Réplication et fiabilité en sciences du comportement et en analyse du comportement : Un appel à la conversation. Perspectives on Behavior Science, 42(1), 1-11. https://doi.org/10.1007/s40614-019-00194-2
- Lilienfeld, S. (2017). La crise de la réplication en psychologie et la culture des subventions : Righting the Ship. Perspectives on Psychological Science, 12(4). https://journals.sagepub.com/doi/full/10.1177/1745691616687745
- Henrich, J., Heine, S. J. et Norenzayan, A. (2010b). Les personnes les plus bizarres du monde ? Behavioral and Brain Sciences, 33(2-3), 61-83. https://doi.org/10.1017/S0140525X0999152X
- Heine, S. J. (2010). Cultural psychology. Dans Handbook of social psychology, Vol. 2, 5e éd. (pp. 1423-1464). John Wiley & Sons, Inc. https://doi.org/10.1002/9780470561119.socpsy002037
- Henrich, J., Heine, S. J. et Norenzayan, A. (2010a). Beyond WEIRD : Towards a broad-based behavioral science (Au-delà de WEIRD : vers une science comportementale élargie). Behavioral and Brain Sciences, 33(2-3), 111-135. https://doi.org/10.1017/S0140525X10000725
- Pashler, H. et Harris, C. R. (2012). La crise de la reproductibilité est-elle exagérée ? Three Arguments Examined. Perspectives on Psychological Science, 7(6), 531-536. https://doi.org/10.1177/1745691612463401
- Wiggins, B. J. et Christopherson, C. D. (2019). La crise de la réplication en psychologie : Un aperçu pour la psychologie théorique et philosophique. Journal of Theoretical and Philosophical Psychology, 39(4), 202-217. https://doi.org/10.1037/teo0000137
- Greenwald, A. G. (1975). Consequences of prejudice against the null hypothesis. Psychological Bulletin, 82(1), 1-20. https://doi.org/10.1037/h0076157
- Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638-641. https://doi.org/10.1037/0033-2909.86.3.638
- Lane, D. M. et Dunlap, W. P. (1978). Estimating effect size : Bias resulting from the significance criterion in editorial decisions. British Journal of Mathematical and Statistical Psychology, 31(2), 107-112. https://doi.org/10.1111/j.2044-8317.1978.tb00578.x
- Nuijten, M. B., van Assen, M. A. L. M., Veldkamp, C. L. S., & Wicherts, J. M. (2015). The Replication Paradox : Combining Studies can Decrease Accuracy of Effect Size Estimates. Review of General Psychology, 19(2), 172-182. https://doi.org/10.1037/gpr0000034
- IJzerman, H., Lewis, N. A., Przybylski, A. K., Weinstein, N., DeBruine, L., Ritchie, S. J., Vazire, S., Forscher, P. S., Morey, R. D., Ivory, J. D., & Anvari, F. (2020). Use caution when applying behavioural science to policy. Nature Human Behaviour, 4(11), 1092-1094. https://doi.org/10.1038/s41562-020-00990-w
- Niveau de préparation technologique. (2021, 1er avril). NASA ; Brian Dunbar.http://www.nasa.gov/directorates/heo/scan/engineering/technology/technology_readiness_level
About the Authors
Lindsey Turk
Lindsey Turk est Summer Content Associate au Decision Lab. Elle est titulaire d'un master d'études professionnelles en économie et gestion appliquées de l'université de Cornell et d'une licence en psychologie de l'université de Boston. Au cours des dernières années, elle a acquis de l'expérience dans les domaines du service à la clientèle, du conseil, de la recherche et de la communication dans divers secteurs. Avant de travailler au Decision Lab, Lindsey a été consultante auprès du Département d'État américain, dans le cadre de son initiative internationale de lutte contre le VIH, le PEPFAR. À Cornell, elle a également travaillé avec une entreprise de produits diététiques au Kenya afin d'améliorer l'accès à des aliments sains et cite cette opportunité comme étant ce qui a cimenté son intérêt pour l'utilisation des sciences comportementales à des fins utiles.
Dr. Sekoul Krastev
Sekoul est cofondateur et directeur général du Decision Lab. Il est l'auteur du best-seller Intention, un livre qu'il a écrit avec Wiley sur l'application consciente de la science comportementale dans les organisations. Scientifique de la décision, titulaire d'un doctorat en neurosciences de la décision de l'Université McGill, les travaux de M. Sekoul ont été publiés dans des revues à comité de lecture et ont été présentés lors de conférences dans le monde entier. Auparavant, Sekoul a conseillé la direction sur la stratégie d'innovation et d'engagement au Boston Consulting Group, ainsi que sur la stratégie des médias en ligne à Google. Il s'intéresse de près aux applications des sciences du comportement aux nouvelles technologies et a publié des articles sur ces sujets dans des revues telles que le Huffington Post et Strategy & Business.
Sarah Chudleigh
Sarah Chudleigh est passionnée par la distribution accessible de la recherche universitaire. Elle a eu l'occasion de mettre cela en pratique en tant qu'organisatrice de conférences TEDx, rédactrice en chef du journal universitaire de sa licence et rédactrice en chef du LSE Social Policy Blog. Sarah a acquis une profonde appréciation de la recherche interdisciplinaire au cours de son diplôme d'arts libéraux à Quest University Canada, où elle s'est spécialisée dans la prise de décision politique. Ses recherches actuelles à la London School of Economics and Political Science portent sur l'impact des valeurs nationales sur les motivations à parrainer des réfugiés à titre privé, dans le prolongement de son intérêt pour l'analyse politique, l'identité et la politique migratoire. Le week-end, Sarah s'adonne au jardinage dans sa ferme urbaine.
