Les etudes randomisees
Michel HuguierReferate generale, no. 6, 2003
* Service de chirurgie digestive, Hôpital Tenon
La décision chirurgicale nécessite souvent
de faire des choix, par exemple, entre plusieurs techniques de cure de hernie
inguinale ou entre différents montages apres duodénopancréatectomie
céphalique. Ces choix se font en comparant les résultats des différents
traitements. Lorsqu'un nouveau traitement fait, " a l'évidence "
la preuve de son efficacité, il n'est guere besoin de faire une étude
randomisée pour le prouver. Ce fut le cas du chloramphénicol dans
les fievres typhoides graves, ou encore des anti-H2 dans le traitement de l'ulcere
duodénal. Mais ces progres spectaculaires sont de plus en plus rares.
Le but de cet éditorial est de montrer que les études randomisées sont la méthode de comparaison entre deux ou plusieurs traitements qui apporte le meilleur niveau de preuve. Néanmoins, elles sont souvent sujettes a des malfaçons qu'il faut connaître [1].
Les trois donnees fondamentales
Toutes les évaluations médicales, qu'elles concernent l'évaluation d'un moyen diagnostique, d'un traitement, ou d'un facteur de pronostic, doivent clairement définir: 1. les malades inclus dans l'étude et a contrario ceux qui en sont exclus; 2. ce que l'on cherche a comparer, par exemple deux techniques chirurgicales; 3. les criteres de jugement qui ont été utilisés ainsi que les méthodes statistiques utilisées. Parmi les criteres de jugement, il faut différencier celui qui parait le plus important des autres.
Les risques statistiques de toute comparaison
Dans toute comparaison, il convient de se garder de deux principaux risques.
Le risque de première espèce
Le risque de première espèce (ou a) est de conclure à tort qu'il y a une différence entre les résultats de deux traitements alors qu'il y a une forte probabilité que le hasard soit intervenu dans les différences observées. C'est ce qui adviendrait d'un joueur de roulette qui, sur neuf coups, voyant le rouge sortir six fois croirait qu'il y a deux fois plus de rouges que de noirs. Les tests
statistiques estiment ce risque. En quelque sorte, ils évaluent la part du hasard dans les différences observées: dire qu'une différence est statistiquement significative veut dire que le hasard a moins de 5% de chances d'etre intervenu dans la
différence observée. Encore faut-il utiliser les tests adaptés aux données que l'on cherche a comparer. Les tests appelés non paramétriques sont utilisables sans conditions d'effectifs. Pour cette raison, ils sont de plus en plus utilisés par rapport aux tests paramétriques.
A la fin d'une étude dont les résultats globaux n'ont pas montré de différence significative, l'analyse de sous-groupes expose, elle aussi au risque de premiere espece: plus on fait d'analyses de sous-groupes, plus on a de chances qu'une
différence dans l'un ou l'autre des sous-groupes soit due au hasard. Il convient donc de se méfier des résultats d'analyses par sous-groupes, sauf si elles ont été prévues dans le protocole de l'étude.
Le risque de deuxième espèce
Le risque de seconde espèce (ou b) est de conclure a tort qu'il n'y a pas de différence entre deux traitements alors qu'en réalité il y en a une: si un traitement apporte un progres réel mais faible, une étude qui porterait sur deux groupes de dix malades aurait bien peu de chances de mettre en évidence ce progres. Aussi faut-il, au début de toute étude randomisée, calculer les effectifs nécessaires pour se donner de fortes chances (en général 90%) de se mettre a l'abri de ce risque. Ce calcul repose: 1. sur les résultats observés avec le traitement de référence; 2. ce que l'on espere du nouveau traitement; 3. et les risques a et b que l'on se fixe. Dans l'estimation des résultats du nouveau traitement, des études préalables, prospectives simples sont utiles. Les effectifs nécessaires sont habituellement de plusieurs centaines de malades. Ceci explique la nécessité de faire des études multicentriques dont la qualité méthodologique est, dans l'ensemble, tres supérieure a celle des autres études randomisées. Les résultats négatifs d'études randomisées entraînent parfois un scepticisme sur leur utilité [2]. Cela s'explique souvent parce que le risque de deuxieme espece n'a pas été pris en compte.
Les evaluations simples
Souvent, des évaluations simples sur des séries de malades avec un recueil rétrospectif des données sont comparées à d'autres séries d'autres auteurs. Ce type de comparaison ne doit etre accepté qu'avec la plus grande prudence. Il est toujours possible de comparer ses résultats avec d'autres qui sont plus mauvais. La probabilité est élevée que ces comparaisons soient faites sur des groupes de malades qui ne sont pas similaires. Elles font croire à un progres qui n'existe pas et qui est démenti ultérieurement dans 50% des cas [3]. L'élargissement des gastrectomies dans le cancer de l'estomac en est un exemple. De plus, quand les données sont recueillies de façon rétrospective, beaucoup manquent souvent.
En revanche, les évaluations simples lorsqu'elles sont prospectives avec une définition précise des trois données fondamentales comme les études dites de phase II en cancérologie, sont un préalable presque indispensable au calcul des effectifs dans les études randomisées. De plus leur caractere prospectif limite le risque de données manquantes, notamment de malades perdus de vue.
Les comparaisons historiques
Les comparaisons historiques reposent sur la comparaison par une même équipe de deux ou plusieurs techniques qu'ils ont utilisées. Elles exposent aussi au risque d'etre faites sur des groupes de malades qui ne sont pas similaires ce qui fausse l'interprétation des résultats de ces études [4]. Lorsque la comparaison porte sur une technique ancienne et une technique plus récente, de meilleurs résultats de la nouvelle technique peuvent être dus à des conditions diagnostiques différentes (par exemple un dépistage plus précoce) ou encore à des progrès dans des traitements associés aux traitements que l'on cherche à comparer. Lorsque la comparaison porte sur deux traitements réalisés pendant la même période, on peut être certain que les deux groupes de malades ne sont pas similaires: il y a forcément des raisons différentes qui ont fait choisir l'un ou l'autre traitement que l'on a cherché à comparer.
Les etudes randomisees
Les études randomisées ne sont acceptables qu'à une double condition éthique un peu paradoxale en apparence: d'une part espérer que le nouveau traitement apporte un progres par rapport a un traitement plus ancien ou a un traitement de référence, et d'autre part en douter.
Par rapport aux comparaisons historiques, l'étude randomisée donne les meilleures chances que les comparaisons portent sur des groupes de malades similaires grâce au tirage au sort du traitement que doit recevoir chaque malade inclus dans l'étude.
En France, la relative lourdeur administrative et réglementaire des études randomisées a le mérite de filtrer les projets imparfaitement conçus et améliore la qualité globale de ces études. Bien faites, ce sont toujours des entreprises lourdes qui doivent être justifiées par des objectifs qui, a priori, en valent la peine.
Les etudes randomisees ne toujours possibles
Des raisons techniques ou éthiques ne permettent pas toujours de faire des études randomisées. Par exemple, dans un cancer de la partie moyenne du rectum on peut penser que la résection-anastomose expose le malade à un plus grand risque de récidive que l'amputation qui permet une exérèse plus large. Théoriquement, il serait souhaitable de faire une étude randomisée. Mais éthiquement, il serait inconcevable de faire une amputation si une résection-anastomose est techniquement réalisable dans de bonnes conditions carcinologiques apparentes. Seules, les comparaisons rétrospectives sont alors possibles. Il convient se donner le plus de chances possibles que les comparaisons se fassent dans des conditions proches de celles des études randomisées. C'est ce que permettent les analyses multifactorielles et les techniques d'ajustement. Dans un premier temps l'analyse multifactorielle montre les variables qui, indépendamment les unes des autres, ont une incidence sur le taux de récidive par exemple. Dans un deuxieme temps, l'ajustement consiste à comparer globalement ces taux de récidive à hauteur constante des variables indépendantes [5].
References
1. Huguier M, Flahault A. - Biostatistiques au quotidien. Paris: Elsevier, 2000:119-41.
2. Freiman JA, Chalmers TC, Smith H, Kuebler RR. - The importance of beta , the type II error and sample size in the design and interpretation of the randomized control trials. Survey of 71 " negative " trials. N Engl J Med 1978; 299:690-4.
3. Venning GR. - Validity of anecdotal reports of suspected adverse drug reactions: the problem of false alarm. Br Med J 1982; 284:249-52.
4. Diehl LF, Perry DJ. - A comparison of randomized concurrent control groups with matched historical control groups: are historical control valid ? J Clin Oncol 1986; 4:1114-20.
5. Huguier M, Chastang C, Houry S, Sima AM, Berhouet H, Chevret S. -Sphincter-saving resection, or not, for cancer of the midrectum. Am J Surg 1997;174:11-5.
Le but de cet éditorial est de montrer que les études randomisées sont la méthode de comparaison entre deux ou plusieurs traitements qui apporte le meilleur niveau de preuve. Néanmoins, elles sont souvent sujettes a des malfaçons qu'il faut connaître [1].
Les trois donnees fondamentales
Toutes les évaluations médicales, qu'elles concernent l'évaluation d'un moyen diagnostique, d'un traitement, ou d'un facteur de pronostic, doivent clairement définir: 1. les malades inclus dans l'étude et a contrario ceux qui en sont exclus; 2. ce que l'on cherche a comparer, par exemple deux techniques chirurgicales; 3. les criteres de jugement qui ont été utilisés ainsi que les méthodes statistiques utilisées. Parmi les criteres de jugement, il faut différencier celui qui parait le plus important des autres.
Les risques statistiques de toute comparaison
Dans toute comparaison, il convient de se garder de deux principaux risques.
Le risque de première espèce
Le risque de première espèce (ou a) est de conclure à tort qu'il y a une différence entre les résultats de deux traitements alors qu'il y a une forte probabilité que le hasard soit intervenu dans les différences observées. C'est ce qui adviendrait d'un joueur de roulette qui, sur neuf coups, voyant le rouge sortir six fois croirait qu'il y a deux fois plus de rouges que de noirs. Les tests
statistiques estiment ce risque. En quelque sorte, ils évaluent la part du hasard dans les différences observées: dire qu'une différence est statistiquement significative veut dire que le hasard a moins de 5% de chances d'etre intervenu dans la
différence observée. Encore faut-il utiliser les tests adaptés aux données que l'on cherche a comparer. Les tests appelés non paramétriques sont utilisables sans conditions d'effectifs. Pour cette raison, ils sont de plus en plus utilisés par rapport aux tests paramétriques.
A la fin d'une étude dont les résultats globaux n'ont pas montré de différence significative, l'analyse de sous-groupes expose, elle aussi au risque de premiere espece: plus on fait d'analyses de sous-groupes, plus on a de chances qu'une
différence dans l'un ou l'autre des sous-groupes soit due au hasard. Il convient donc de se méfier des résultats d'analyses par sous-groupes, sauf si elles ont été prévues dans le protocole de l'étude.
Le risque de deuxième espèce
Le risque de seconde espèce (ou b) est de conclure a tort qu'il n'y a pas de différence entre deux traitements alors qu'en réalité il y en a une: si un traitement apporte un progres réel mais faible, une étude qui porterait sur deux groupes de dix malades aurait bien peu de chances de mettre en évidence ce progres. Aussi faut-il, au début de toute étude randomisée, calculer les effectifs nécessaires pour se donner de fortes chances (en général 90%) de se mettre a l'abri de ce risque. Ce calcul repose: 1. sur les résultats observés avec le traitement de référence; 2. ce que l'on espere du nouveau traitement; 3. et les risques a et b que l'on se fixe. Dans l'estimation des résultats du nouveau traitement, des études préalables, prospectives simples sont utiles. Les effectifs nécessaires sont habituellement de plusieurs centaines de malades. Ceci explique la nécessité de faire des études multicentriques dont la qualité méthodologique est, dans l'ensemble, tres supérieure a celle des autres études randomisées. Les résultats négatifs d'études randomisées entraînent parfois un scepticisme sur leur utilité [2]. Cela s'explique souvent parce que le risque de deuxieme espece n'a pas été pris en compte.
Les evaluations simples
Souvent, des évaluations simples sur des séries de malades avec un recueil rétrospectif des données sont comparées à d'autres séries d'autres auteurs. Ce type de comparaison ne doit etre accepté qu'avec la plus grande prudence. Il est toujours possible de comparer ses résultats avec d'autres qui sont plus mauvais. La probabilité est élevée que ces comparaisons soient faites sur des groupes de malades qui ne sont pas similaires. Elles font croire à un progres qui n'existe pas et qui est démenti ultérieurement dans 50% des cas [3]. L'élargissement des gastrectomies dans le cancer de l'estomac en est un exemple. De plus, quand les données sont recueillies de façon rétrospective, beaucoup manquent souvent.
En revanche, les évaluations simples lorsqu'elles sont prospectives avec une définition précise des trois données fondamentales comme les études dites de phase II en cancérologie, sont un préalable presque indispensable au calcul des effectifs dans les études randomisées. De plus leur caractere prospectif limite le risque de données manquantes, notamment de malades perdus de vue.
Les comparaisons historiques
Les comparaisons historiques reposent sur la comparaison par une même équipe de deux ou plusieurs techniques qu'ils ont utilisées. Elles exposent aussi au risque d'etre faites sur des groupes de malades qui ne sont pas similaires ce qui fausse l'interprétation des résultats de ces études [4]. Lorsque la comparaison porte sur une technique ancienne et une technique plus récente, de meilleurs résultats de la nouvelle technique peuvent être dus à des conditions diagnostiques différentes (par exemple un dépistage plus précoce) ou encore à des progrès dans des traitements associés aux traitements que l'on cherche à comparer. Lorsque la comparaison porte sur deux traitements réalisés pendant la même période, on peut être certain que les deux groupes de malades ne sont pas similaires: il y a forcément des raisons différentes qui ont fait choisir l'un ou l'autre traitement que l'on a cherché à comparer.
Les etudes randomisees
Les études randomisées ne sont acceptables qu'à une double condition éthique un peu paradoxale en apparence: d'une part espérer que le nouveau traitement apporte un progres par rapport a un traitement plus ancien ou a un traitement de référence, et d'autre part en douter.
Par rapport aux comparaisons historiques, l'étude randomisée donne les meilleures chances que les comparaisons portent sur des groupes de malades similaires grâce au tirage au sort du traitement que doit recevoir chaque malade inclus dans l'étude.
En France, la relative lourdeur administrative et réglementaire des études randomisées a le mérite de filtrer les projets imparfaitement conçus et améliore la qualité globale de ces études. Bien faites, ce sont toujours des entreprises lourdes qui doivent être justifiées par des objectifs qui, a priori, en valent la peine.
Les etudes randomisees ne toujours possibles
Des raisons techniques ou éthiques ne permettent pas toujours de faire des études randomisées. Par exemple, dans un cancer de la partie moyenne du rectum on peut penser que la résection-anastomose expose le malade à un plus grand risque de récidive que l'amputation qui permet une exérèse plus large. Théoriquement, il serait souhaitable de faire une étude randomisée. Mais éthiquement, il serait inconcevable de faire une amputation si une résection-anastomose est techniquement réalisable dans de bonnes conditions carcinologiques apparentes. Seules, les comparaisons rétrospectives sont alors possibles. Il convient se donner le plus de chances possibles que les comparaisons se fassent dans des conditions proches de celles des études randomisées. C'est ce que permettent les analyses multifactorielles et les techniques d'ajustement. Dans un premier temps l'analyse multifactorielle montre les variables qui, indépendamment les unes des autres, ont une incidence sur le taux de récidive par exemple. Dans un deuxieme temps, l'ajustement consiste à comparer globalement ces taux de récidive à hauteur constante des variables indépendantes [5].
References
1. Huguier M, Flahault A. - Biostatistiques au quotidien. Paris: Elsevier, 2000:119-41.
2. Freiman JA, Chalmers TC, Smith H, Kuebler RR. - The importance of beta , the type II error and sample size in the design and interpretation of the randomized control trials. Survey of 71 " negative " trials. N Engl J Med 1978; 299:690-4.
3. Venning GR. - Validity of anecdotal reports of suspected adverse drug reactions: the problem of false alarm. Br Med J 1982; 284:249-52.
4. Diehl LF, Perry DJ. - A comparison of randomized concurrent control groups with matched historical control groups: are historical control valid ? J Clin Oncol 1986; 4:1114-20.
5. Huguier M, Chastang C, Houry S, Sima AM, Berhouet H, Chevret S. -Sphincter-saving resection, or not, for cancer of the midrectum. Am J Surg 1997;174:11-5.