Investigadores de la Facultad de Medicina de Harvard y de Mass General Brigham han identificado limitaciones críticas en la capacidad de los modelos de lenguaje de gran tamaño (LLM) para abordar el razonamiento médico complejo.
El estudio, publicado en JAMA Network Open, evaluó el desempeño de diversos LLM en tareas de razonamiento clínico que requieren algo más que un simple reconocimiento de patrones.
Si bien estos modelos destacan en la recuperación de información médica, los investigadores descubrieron que presentan dificultades ante desafíos diagnósticos que requieren múltiples pasos.
Limitaciones diagnósticas
La investigación, dirigida por Sharon Jiang y un equipo de especialistas de la Facultad de Medicina de Harvard, puso a prueba la capacidad de los modelos para navegar por escenarios clínicos complejos. Los investigadores se centraron en tareas que exigen una lógica clínica profunda en lugar de una mera recuperación de datos.
Los hallazgos indican que los modelos suelen fallar durante la fase de razonamiento de un diagnóstico. Este fallo ocurre cuando la tarea requiere integrar múltiples hallazgos clínicos dispares para llegar a una conclusión única.
Según los autores del estudio, la brecha de rendimiento se vuelve más pronunciada a medida que aumenta la complejidad del caso médico. Los modelos interpretan erróneamente, con frecuencia, la relación entre los síntomas y las patologías subyacentes.
Expertos que aportaron comentarios al estudio, entre ellos el Dr. Mickael Tordjman, señalaron que estas limitaciones en el razonamiento diagnóstico representan una preocupación primordial para su implementación clínica. Los investigadores sugieren que, aunque los LLM son herramientas potentes para la recuperación de información, aún no son fiables para la toma de decisiones diagnósticas autónomas.
El equipo de investigación, integrado por clínicos del Massachusetts General Hospital y del Brigham and Women’s Hospital, enfatizó que las arquitecturas actuales de IA carecen de la lógica robusta necesaria para entornos médicos de alta responsabilidad. El estudio resalta una clara distinción entre la capacidad de un modelo para procesar texto médico y su capacidad para pensar como un médico.