Muchos dispositivos médicos de IA aprobados en EE.UU. no están entrenados con datos reales de pacientes

En respuesta a la rápida evolución del uso y la aprobación de dispositivos médicos de IA en la atención médica, un equipo de investigadores de la Facultad de Medicina de la Universidad North Carolina, la Universidad de Duke, Ally Bank, la Universidad de Oxford, la Universidad de Columbia y la Universidad de Miami han evaluado la metodología para la aprobación de estas tecnologías para su uso en la atención al paciente.

Y sorprendentemente, como publica, en 'Nature Medicine', apenas la mitad de las tecnología de IA que se usan en medicina en EE.UU. han sido testadas con datos reales de pacientes.

Noticia Relacionada

Así predice el riesgo de autismo la inteligencia artificial

R. Ibarra

Un test validado con IA tiene una precisión de casi el 80% para niños menores de dos años, lo que le convierte en una herramienta valiosa para el diagnóstico del trastorno del espectro autista

Los investigadores han llevado a cabo un análisis exhaustivo de los datos de validación clínica de más de 500 dispositivos médicos de inteligencia artificial, y revelaron que aproximadamente la mitad de las herramientas autorizadas por la Administración de Alimentos y Medicamentos de los Estados Unidos (FDA en inglés) carecían de datos de validación clínica informados.

«Aunque los fabricantes de dispositivos de IA presumen de la credibilidad de su tecnología con la autorización de la FDA, la autorización no significa que los dispositivos hayan sido evaluados adecuadamente en cuanto a su eficacia clínica utilizando datos de pacientes reales», señala Sammy Chouffani El Fassi, primer autor del artículo. «Con estos hallazgos, esperamos alentar a la FDA y a la industria a impulsar la credibilidad de la autorización de los dispositivos mediante la realización de estudios de validación clínica sobre estas tecnologías y haciendo que los resultados de dichos estudios estén disponibles públicamente».

Noticia Relacionada

Un marcapasos inteligente controla los síntomas del párkinson de día y de noche

Rafael Ibarra

Desde 2016, la cantidad promedio de autorizaciones de dispositivos médicos de IA por parte de la FDA por año ha aumentado de 2 a 69, lo que indica un enorme crecimiento en la comercialización de tecnologías médicas de IA. La mayoría de las tecnologías médicas de IA aprobadas se están utilizando para ayudar a los médicos a diagnosticar anomalías en imágenes radiológicas, análisis de portaobjetos patológicos, dosificación de medicamentos y predicción de la progresión de enfermedades.

«Muchos de los dispositivos que salieron al mercado después de 2016 eran nuevos o tal vez eran similares a un producto que ya estaba en el mercado», asegura la investigadora Gail E. Henderson. «Usando estos cientos de dispositivos en esta base de datos, queríamos determinar qué significa realmente que un dispositivo médico de IA esté autorizado por la FDA».

De las 521 autorizaciones de dispositivos, 144 fueron etiquetadas como «validadas retrospectivamente», 148 fueron «validadas prospectivamente» y 22 fueron validadas mediante ensayos controlados aleatorios. Lo más relevante, escriben los autores, es que 226 de los 521 dispositivos médicos aprobados por la FDA, o aproximadamente el 43%, carecían de datos de validación clínica publicados. Algunos de los dispositivos utilizaban «imágenes fantasma» o imágenes generadas por computadora que no eran de un paciente real, lo que técnicamente no cumplía con los requisitos para la validación clínica.

En el ámbito de la validación clínica, existen tres métodos diferentes mediante los cuales los investigadores y fabricantes de dispositivos validan la precisión de sus tecnologías: validación retrospectiva, validación prospectiva y un subconjunto de validación prospectiva denominado ensayos controlados aleatorios.

La validación retrospectiva implica introducir en el modelo de IA datos de imágenes del pasado, como radiografías de tórax de pacientes anteriores a la pandemia de covid-19. Sin embargo, la validación prospectiva suele producir evidencia científica más sólida porque el dispositivo de IA se valida en función de datos en tiempo real de los pacientes. Esto es más realista, según los investigadores, porque permite a la IA tener en cuenta variables de datos que no existían cuando se estaba entrenando, como radiografías de tórax de pacientes que se vieron afectadas por virus durante la pandemia de covid-19.

Los ensayos controlados aleatorizados se consideran el estándar de oro para la validación clínica. Este tipo de estudio prospectivo utiliza controles de asignación aleatoria para las variables de confusión que diferenciarían los grupos experimental y de control, aislando así el efecto terapéutico del dispositivo.

Por ejemplo, los investigadores podrían evaluar el rendimiento del dispositivo asignando aleatoriamente a los pacientes para que un radiólogo (grupo de control) lea sus tomografías computarizadas en lugar de una IA (grupo experimental).

Debido a que los estudios retrospectivos, los estudios prospectivos y los ensayos controlados aleatorios producen distintos niveles de evidencia científica, los autores recomiendan que la FDA y los fabricantes de dispositivos distingan claramente entre los diferentes tipos de estudios de validación clínica en sus recomendaciones a los fabricantes.