Les cancers cutanés, carcinomes et mélanomes, figurent parmi les cancers les plus fréquents au monde et sont en constante augmentation. Tous ne présentent pas la même gravité mais pour chacun d’eux, un diagnostic précoce est essentiel. Des technologies ont été créées pour permettre aux médecins et aux dermatologues de poser un diagnostic plus rapidement, des applications mobiles ont également été proposées au grand public. Or, une étude, présentée fin septembre au congrès virtuel de l’European Academy of Dermatology and Venereology (EADV), démontrerait qu’une intelligence artificielle utilisée dans une application mobile destinée au grand public n’était pas fiable pour la détection de certains cancers cutanés rares mais agressifs (les carcinomes de Merkel et les mélanomes amélanotiques).
Cette étude a été menée par Lloyd Steele du Royal London Hospital (Barts Health NHS Trust) et de la Queen Mary University of London.
Des applications disponibles notamment sur smartphone proposent d’aider les particuliers à surveiller des lésions suspectes pour décider s’il faut ou non les faire examiner par un médecin. Un algorithme intégré dans l’application analyse les photographies de ces lésions et les classe en risque faible ou élevé de cancer et formule des conseils. Lloyd Steel a expliqué :
“La détection de cancers rares mais agressifs représente un enjeu important Mais ils ne sont pas assez présents dans les bases de données d’entraînement utilisées pour le développement de ces algorithmes.”
Dans ces cas de cancer rares mais agressifs comme le carcinome de Merkel et le mélanome amélanotique, le dépistage à un stade précoce de la maladie est vital. Des études ont été menées sur les performances de L’IA dans la classification des lésions cutanées, une seule a révélé un résultat sensible pour ces deux types de cancer mais de seulement 52 %.
Les chercheurs ont décidé d’évaluer la fiabilité et l’efficacité de deux applications destinées à une bonne classification de ces deux cancers cutanés rares. La première, considérée comme dispositif médical en Europe, disponible chez Apple, promet des résultats dignes d’experts et donne une classification binaire “faible risque” ou “risque élevé”. La seconde, uniquement disponible pour la recherche, propose une liste des cinq diagnostics les plus plausibles avec une probabilité de certitude.
De mauvaises performances
Ils sont donc allés rechercher des photos de lésions cutanées sur Pubmed (version gratuite de la base de données bibliographiques en sciences biomédicales Medline de l’université de Montréal) ainsi que dans des recueils de dermatologie qu’ils ont ensuite soumises aux deux modèles. Parmi les photos choisies, il y avait celles de 28 carcinomes de Merkel, de 35 mélanomes amélanotiques mais aussi celles de lésions très fréquentes : 28 kératoses séborrhéiques et 25 hémangiomes, soit 116 photos sélectionnées.
Le premier modèle disponible pour le grand public a classé 17,9 % des images de carcinome de Merkel et 22,9 % des images de mélanome amélanotique de façon erronée comme étant des lésions de faible risque. Inversement, 62,2 % des lésions bénignes ont été considérées comme à risque élevé.
Pour cette mini-étude portant sur 116 photos, le pourcentage de fiabilité de cette application pour détecter des lésions malignes était de 79,4 % mais de seulement 37,7 % pour la classification des lésions à faible risque.
Le second modèle n’a pas été plus performant pour les photos de carcinome de Merkel qui n’a pas été détecté dans les cinq diagnostics proposés, suggérant que cet algorithme n’a même pas été entraîné à reconnaître ce type de lésion. Pour les images de mélanome amélanotique, le diagnostic de mélanome a été proposé pour 31,4 % des images. La valeur prédictive négative de cet algorithme était par ailleurs élevée. À l’inverse, dans les cas de lésions bénignes, le second modèle a apporté de très bons résultats.
Cette étude démontre donc que ces deux algorithmes sont défaillants dans la détection de deux cancers rares, le carcinome de Merkel et le mélanome amélanotique. Lloyd Steele a déclaré :
“Ces résultats soulèvent la question de la transparence et de la reproductibilité des données dans l’utilisation de l’IA en santé ainsi que de l’évaluation indépendante de la sécurité de ces IA.”
Il a rappelé l’étude publiée le 10 février 2020 dans le British Medical Journal (BMJ) qui indiquait que : “Les applications mobiles destinées au grand public pour détecter les cancers cutanés et évaluer les lésions suspectes ne sont pas suffisamment fiables et la procédure réglementaire de marquage CE ne permet pas d’apporter une protection adéquate aux consommateurs.”
Améliorer les algorithmes de détection des lésions de la peau
Les applications qui reposent sur ce type d’algorithme sont considérées comme des dispositifs médicaux qui doivent obtenir le marquage CE des autorités pour être commercialisés. Mais lors de cette commercialisation, on ne leur demande pas de publier leurs performances alors que leur déploiement n’aurait pas du avoir lieu vu leur manque de précision.
Dans un communiqué, les chercheurs considèrent que “la mise à disposition de tels outils sans transparence sur ses performances pour des cancers rares mais potentiellement fatals est contestable sur le plan éthique”.
L’application mobile grand public a généré un taux élevé de faux-positifs qui peut avoir des conséquences importantes à titre individuel (angoisse) et entraîner des soins totalement inutiles. Dans un éditorial, Jessica Morley et ses collègues de l’université d’Oxford observent que “l’autorisation officielle donne aux consommateurs l’impression que ces applis ont été évaluées comme étant efficaces et sûres”. Alors que ces dispositifs de classe I sont considérés à faible risque, “des défauts dans ces applis de diagnostic peuvent avoir des implications graves” : psychologiques, en générant de l’anxiété (une cyberchondrie), et physiques, par mauvais diagnostic ou surdiagnostic.
Lloyd Steele a conclu :
“Afin d’améliorer ces modèles d’apprentissage automatique, il faut prendre en considération l’ensemble du spectre d’une maladie vu en pratique clinique. Il est également nécessaire d’avoir des accès larges aux banques de données d’images en dermatologie.”
Le Pr Marie-Aleth Richard de l’hôpital de La Timone à Marseille (AP-HM), responsable de la communication pour l’EADV réclame plus de transparence sur les données d’efficacité et de sécurité de ces applis, de plus en plus utilisées :
“Ces outils ne détectent que ce qu’ils ont appris à analyser et le manque de transparence pourrait mettre des vies en danger !”
Référence :
Steele, L., Velazquez-Pimentel, D., Do AI Models recognise rare, aggressive skin cancers? An assessment of a direct-to-consumer app in the diagnosis of Merkel Cell Carcinoma and amelanotic carcinoma, Abstract no. 1935, submitted to EADV 30th Congress, 29-02 October 2021.
