Hasta el 70% de las respuestas son erradas en los chatbots médicos que utilizan inteligencia artificial para responder preguntas, según un estudio que recibió uno de los cuatro premios otorgados por la Asociación Médica de Milán, en honor a Roberto Anzalone, figura histórica de la medicina milanesa.
De 200 preguntas, respondió con al menos un error en aproximadamente el 70% de los casos, y con referencias bibliográficas inexactas o incluso inexistentes en aproximadamente el 30%.
El estudio, publicado en el European Journal of Pathology, la revista oficial de la Sociedad Europea de Patología (ESP), concluye que «la mirada clínica del patólogo sigue siendo irremplazable y que la inteligencia artificial debe considerarse un apoyo útil, pero no un sustituto de la experiencia humana».
«Nuestro proyecto, iniciado en 2023», explica Vincenzo Guastafierro, especialista en Anatomía Patológica del Instituto Clínico Humanitas de la Universidad Humanitas de Rozzano, «tuvo como objetivo estimar los riesgos asociados al uso de herramientas de Inteligencia Artificial (IA) en la práctica clínica, en particular los chatbots utilizados para apoyar el diagnóstico y como herramientas de aprendizaje».
«Presentamos preguntas clínicas reales a la IA en diversas subespecialidades, detectando respuestas incorrectas en aproximadamente el 70% de los casos y referencias bibliográficas inexactas o inexistentes en aproximadamente el 30%», detalló.
«Por lo tanto, estas herramientas deben utilizarse con extrema precaución, ya que pueden llevar a decisiones diagnósticas inapropiadas que repercuten negativamente en las opciones de tratamiento», afirmó Guastafierro.
En el estudio, los investigadores crearon cinco escenarios clínicos, simulando a un patólogo que utiliza ChatGPT para refinar sus diagnósticos con 200 preguntas.
Cada escenario se ajustó a las directrices diagnósticas actuales y fue validado por patólogos expertos. Se sometió a preguntas abiertas o de opción múltiple, con o sin referencias científicas.
Según el estudio, «ChatGPT proporcionó respuestas útiles en el 62,2% de los casos, y el 32,1% de los resultados no contenían errores, mientras que el resto contenía al menos uno.
ChatGPT proporcionó 214 referencias bibliográficas: el 70,1% eran correctas, el 12,1 % eran inexactas y el 17,8 % inexistentes».
Este último hallazgo sorprendió enormemente a los investigadores: la IA había construido una realidad inexistente, citando fuentes que no existían, pero que estaban tan bien construidas que resultaban creíbles. Entre los errores más evidentes detectados, la IA diagnosticó erróneamente un cáncer de piel y un tipo diferente de cáncer de mama en otro caso, generando también dos referencias bibliográficas incorrectas.
Por lo tanto, los datos plantean importantes preguntas para la profesión médica, que desarrolla y utilizará cada vez más la inteligencia artificial, pero también para los pacientes que la utilizan para el autodiagnóstico. Aunque ChatGPT proporcionó respuestas útiles en un tercio de los casos, la frecuencia de errores y la variabilidad subrayan su inadecuación para el uso diagnóstico rutinario.
«La inexactitud de las referencias», señalan los investigadores, «también sugiere cautela como herramienta de autoaprendizaje para los médicos. Es fundamental reconocer el papel insustituible del ser humano».
Los estudios continuarán, explicó Guastafierro, utilizando las versiones más actualizadas para comprender la evolución y el aumento de la fiabilidad de estas herramientas a lo largo del tiempo.
ANSA / CubaSí
