Les études sur les mesures sanitaires sont-elles fiables? Des chercheurs font une découverte surprenante

Cela fait presque un an que les gouvernements du monde entier ont pris des mesures draconiennes pour ralentir la propagation de la Covid-19. De la fermeture des écoles et des entreprises à l’interdiction de contact entre les citoyens en passant par l’obligation de porter un masque buccal, presque toutes les décisions ont été accompagnées de discussions.

En Belgique aussi, ces derniers mois ont été marqués par des débats autour du sens et de l’utilité des mesures prises. Les politiciens et les experts défendent souvent leurs positions à l’aide d’études internationales et de projections montrant l’effet d’une certaine mesure sur la courbe de nouvelles infections. Cependant, il apparaît maintenant que ces études comportent de nombreuses erreurs.

Noah Haber, un chercheur de 34 ans de l’université de Stanford, s’est penché depuis cet été sur toutes les études relatives à l’impact des mesures. Haber est ce qu’on appelle un “expert en méthodes”. Depuis quinze ans, il étudie les méthodes utilisées par les scientifiques pour mener leurs recherches. Ces cinq dernières années, il s’est concentré sur les études épidémiologiques. Le mieux est de comparer Haber à un inspecteur des bâtiments spécialisé dans la vérification des fondations d’une maison. Si les fondations ne sont pas solides, la maison vacillera et s’effondrera. Il en va de même pour la recherche scientifique : si la méthode utilisée est faible, alors la conclusion de la recherche n’est pas forcément à prendre en compte.

Avec 25 collègues des États-Unis, du Canada et de l’Australie, il a passé les derniers mois à examiner toutes les études menées dans le monde entier sur l’impact des mesures contre le coronavirus, et notamment le lockdown. Ils ont mis au point un test qui leur permettait de vérifier chaque étude sur quatre points critiques. Ce qu’ils ont découvert est surprenant: presque toutes les études n’ont pas forcément des fondations solides.

“Sur les 27 études mesurant l’impact des lockdowns et autres mesures sur la propagation du coronavirus, une seule a passé notre test avec succès. C’est donc la seule qui repose sur une base suffisamment solide”, a déclaré Haber dans une interview. “Les 26 autres ont échoué sur un ou plusieurs des quatre points indiqués. Ils utilisent des méthodes très douteuses”.

Haber et ses collègues soulignent que leurs recherches ne prouvent pas que les mesures prises sont inutiles. “Nous montrons seulement qu’il est impossible de prouver l’ampleur de l’effet de certaines mesures”. Ce qui est frappant, c’est que toutes ces études ont été publiées dans des revues scientifiques réputées malgré leurs défauts. “Cependant, il y a de nombreuses lacunes dans le fonctionnement de ce processus. Une publication dans un journal ne signifie pas que les conclusions sont correctes. Nos recherches montrent que cela ne signifie même pas que les méthodes sont correctes”, estime Haber.

Toutes ces études sont-elles donc sans valeur? “C’est trop dur de l’affirmer”, pense Haber. “Mais il est vrai que nous ne pouvons pas réellement utiliser les conclusions pour de la politique. Il peut y avoir des informations utiles dans une étude, mais si la méthodologie est défectueuse, alors les preuves sont inutilisables”. La seule étude qui a passé le test avec succès et dispose donc d’une base solide indique que si les jeunes restaient chez eux, le nombre d’infections réduirait de 44 % en trois semaines. “Le fait que cette étude passe notre test ne signifie pas que la conclusion est correcte”, précise le chercheur. “Cela signifie seulement que les bases sont bonnes. Cependant, il y a encore de nombreux liens dans l’étude qui peuvent être faibles”.

Avec leur étude, Haber et ses collègues veulent surtout montrer qu’il est extrêmement difficile pour les scientifiques de mesurer certaines choses avec précision. Surtout dans cette crise de la Covid-19. “Et c’est vraiment logique. Au printemps 2020, lorsque la plupart des études ont été menées, il se passait tellement de choses en même temps qu’il était impossible de les distinguer. De nombreuses mesures ont été prises, les gens ont aussi spontanément adapté leur comportement et on savait très peu de choses sur le virus”.

Cette combinaison de facteurs rend pratiquement impossible d’estimer aujourd’hui l’impact de maintenir les écoles ouvertes ou de la fermeture du secteur de la restauration, par exemple. Haber pense que les scientifiques ne pourront même pas calculer cet impact avec certitude. Cela signifie que nos experts et nos politiciens seront confrontés à une mission difficile dans les semaines à venir. Après tout, en ignorant quel est l’impact exact d’une mesure particulière, il est extrêmement difficile de savoir s’il est sûr de relâcher cette mesure. “En tant que scientifiques, nous devons admettre que nous ne pouvons pas calculer ou modéliser certaines choses. Cette incertitude est ennuyeuse, mais nous devons apprendre à vivre avec”.

Van Gucht met en garde: “Si on assouplit maintenant, on se tire une balle dans le pied”

“Il est temps d’offrir des perspectives à tous les secteurs”