Dans les cercles académiques, le chœur des critiques s’amplifie, faisant valoir que la validité interne et externe des ERC est menacée. Par exemple, jusqu’à quel point peut on avoir vraiment confiance dans les revendications de causalité des ERC, et comment leurs résultats peuvent-ils être généralisés à d’autres situations et/ou individus ? Examinons maintenant certaines de ces menaces avant de nous pencher sur de potentielles solutions de remplacement aux ERC.

Les difficultés à réaliser des ERC réussis

Réussir à mettre en œuvre un ERC n’est pas tâche facile, surtout en raison de difficultés techniques telles que garantir le double insu, éviter les méthodes pseudo-aléatoires, gérer l’attrition et tenir compte des changements de comportement causés par l’expérience elle-même, tels que les effets de Hawthorne et de John Henry, qui peuvent avoir une incidence négative ou positive sur les résultats (comme nous le verrons plus loin). Par ailleurs, on ne peut pas complètement exclure les effets de débordement et il faut tenir compte des difficultés éthiques et pratiques.