115: L’amour de la répétition

Sommaire

1. L’amour de la répétition
• Effet de simple exposition et Musique
• Les Rites
• Application pratique
• Pour aller plus loin
2. Comment faire confiance aux études
3. La vie sexuelle des robots
4. Lettres de la semaine

1. L’amour de la répétition

Cette Lettre est complémentaire aux Lettres Neuromonaco 59 (“Faut-il attirer l’attention pour manipuler ?”), 86 (“Les effets de la musique”) et 108.2 (“Musique Lounge et anhédonie”)^[1].

Photo

• Find one flaw. Thomas Rousing. Licence CC-BY

2. Comment faire confiance aux études ?

Comment savoir si un résultat obtenu auprès d’une petite partie de la population (l’échantillon étudié) est vrai pour l’ensemble de la population ? C’est le rôle des statistiques qui vont permettre de calculer les probabilités que le résultat soit du à la pure chance, et par soustraction qu’il soit valide à l’ensemble de la population.

Des études “trop” réussies ?

Gregory Francis a téléchargé les 951 articles publiées par Psychological Science entre 2009 et 2012. Il n’a retenu que ceux qui permettaient de leur faire passer le test TES (Ioannidis & Trikalinos, 2007), c’est-à-dire qui contenaient au moins 4 expériences, soit 44 articles. Parmi ces derniers, 36 (soit 82%) n’ont pas passé le test.

Robert Kurzban explique :

“L’analyse utilise le ”test de signification en excès“ (TES) (Ioannidis & Trikalinos, 2007). L’intuition est que si vous faites un nombre N d’expériences pour mesurer un effet d’une certaine taille, alors il est possible de calculer les probabilités d’obtenir N rejets de l’hypothèse nulle. Donc si les chances d’obtenir un effet sont par exemple de 1 sur 3, alors les chances d’obtenir deux fois l’effet sont de 1 sur 9. Si quelqu’un trouve plus de rejets de l’hypothèse nulle que prévu, alors c’est que quelque chose est bizarre. L’analyse ne suffit pas à dire d’où provient le succès excédentaire, elle montre seulement la présence d’un biais en faveur de résultats positifs. Selon Francis, le seuil à prendre en compte est un TES de 0,1.”
Evolutionary Psychology

En d’autres termes : 82% des études publiées qui ont pu être testées par ce moyen pour leur validité n’ont pas démontré sur ce test qu’elles étaient solides et valides pour l’ensemble de la population.

Cela ne signifie bien sûr pas que 82% des études sont fausses : en fait cette étude elle-même a des limites¹. Mais ça renforce un doute.

95%

Fondamentalement, ce que cherche à mesurer ce test TES est la “pêche aux résultats significatifs”.

L’idée est la suivante : si vous fixez le seuil de validité à 95%, c’est-à-dire à seulement 5% de risque que le résultat positif soit du à la seule chance, et que vous faites de très nombreux tests, que se passera-t-il ? En toute probabilité, certains de vos tests (1 sur 20 en moyenne) seront positifs par pure chance.

XKCD s’en était moqué dans son dessin 882 :

Comment s’en sortir ?

La Lettre Neuromonaco 29.4 (“Neuromarketing : Effarant “documentaire” de France 2”) avait cité un article d’Emmanuel Gavard dans LSA qui montrait l’importance de l’association des résultats d’études (ici : les études de neuromarketing) dans un cadre général (mise en gras ajoutée) :

“L’analyse IRM, seule, n’est pas efficace en marketing. Si visualiser le cerveau est une chose, il reste, pour le moment, complexe d’en tirer des conclusions pertinentes et généralisables. Pour être efficace, elle doit être intégrée dans les sciences cognitives, avec la psychologie expérimentale, la linguistique, l’anthropologie, la philosophie et encore l’informatique. Elle fait partie d’un tout scientifique qui permet ensuite d’élaborer une théorie. Cet ensemble permet de comprendre le processus de mémorisation du cerveau, puis d’analyser le message marketing à faire passer.”
Emmanuel Gavard (2012), cité Lettre Neuromonaco 29

Il faut généraliser :

Et on peut citer de nouveau la Lettre 29 qui concluait :

Ce qui correspond exactement au positionnement de Neuromonaco et à ce que j’essaie de faire passer dans ces Lettres.

Notes

1. Dans les commentaires sur Evolutionary Psychology, Brian Scholl, co-auteur d’un des 8 articles ayant passé le test, remarque que la limite en nombre de mots imposée par Psychological Sciences limite l’intérêt de l’étude :

   • Moins de 5% des 951 articles présentent au moins les quatre études nécessaires (il est dès lors difficile de généraliser)

   • Pour son étude ils avaient du ne pas présenter une cinquième expérience, toujours pour raison de manque de place disponible

   Il remarque de plus dans un autre commentaire qu’il y a une difficulté à définir si les études d’un même article doivent ou non être classées ensemble, c’est-à-dire si elles correspondent, ou non, au même effet.

Liens

• Gregory Francis, PhD, Purdue University, West Lafayette, Indiana, USA

• “Excess Success – Research Practices in Psychology”. Robert Kurzban. Evolutionary Psychology. 6 March, 2014

• xkcd 882 : Significant

• “Le fantasme du neuromarketing” par Emmanuel Gavard – _LSA_ – 17 mai 2012

• Lettre Neuromonaco 29.4 : “Neuromarketing : Effarant “documentaire” de France 2”

Référence

Francis, G. (in press). The Frequency of Excess Success for Articles in Psychological Science. Psychonomic Bulletin & Review, 1–26. [PDF]

Ioannidis, J. P. A., & Trikalinos T. A. (2007). An exploratory test for an excess of significant findings. Clinical Trials, 4, 245–253.

3. La vie sexuelle des robots

4. Lettres de la semaine

Les Abonnés Premium ont reçu au cours de la semaine dernière les trois sections ci-dessus et aussi : "Femmes : le panier de crabes" et "La domination Google en cartes".

Cinq autres lettres sont envoyées cette semaine :

1. Mode : Tendance "Tou(te)s les mêmes" (déjà envoyée)
2. L'humiliation est-elle la plus forte des émotions ?
3. Stéréotypes : comment changer les attitudes ?
4. Luxe : snober pour vendre
5. Vivent les corrélations !

Abonnez-vous pour les recevoir !