Introducción
Los modelos lingüísticos masivos (MLM) impulsados por IA, como ChatGPT, utilizan el aprendizaje automático para procesar datos complejos y generar respuestas textuales de calidad casi humana en sectores como la atención sanitaria.
Se ha sugerido ChatGPT como una posible solución para reducir la carga administrativa que suponen los mensajes en la bandeja de entrada de los médicos.
Este estudio tiene como objetivo evaluar la capacidad de ChatGPT para responder a las preguntas de los pacientes urológicos.
Métodos
Se recopilaron cien mensajes de pacientes de la bandeja de entrada de un urólogo especializado en andrología y se clasificaron según el contenido de las preguntas. Cada mensaje se introdujo de forma separada en ChatGPT 3.5 y se registraron las respuestas. Cinco urólogos evaluaron las preguntas y respuestas de forma independiente. Las preguntas se calificaron en función de su dificultad en una escala de Likert de 5 puntos; las de 3 o más puntos se consideraron difíciles. Las respuestas se evaluaron en cuanto a la precisión, la exhaustividad, el potencial de daño, la utilidad y la claridad, según una escala de Likert de 5 puntos.
Resultados y discusión
En general, se consideró que ChatGPT dio respuestas precisas (media 4,0) e inteligibles (media 4,7) a las preguntas. La exhaustividad (media de 3,9) y la utilidad (media de 3,5) de las respuestas fue baja y el daño, escaso.
ChatGPT obtuvo resultados significativamente mejores en las preguntas fáciles (n = 59) que en las preguntas difíciles (n = 41) en todos los parámetros, excepto en el de daño, que fue igualmente bajo en ambos niveles.
En general, el 47 % de las respuestas se consideraron adecuadas para enviar a los pacientes.
ChatGPT tuvo un mejor rendimiento en las preguntas fáciles, con el 56 % de las respuestas adecuadas para enviar, que en las difíciles, con el 34 %. Además, las respuestas a las preguntas fáciles fueron más precisas, completas, útiles y comprensibles que las respuestas a las preguntas difíciles.
Discusión
Estos resultados son alentadores para el uso de la IA generativa para mejorar la eficiencia clínica. Las respuestas rápidas, empáticas y de alta calidad a las preguntas de los pacientes podrían ayudar a aliviar sus preocupaciones y a limitar las visitas innecesarias, liberando tiempo y recursos de los profesionales para abordar otras tareas complejas.
En este sentido, Ayers y col. observaron que las respuestas generadas por la IA a las preguntas de los pacientes eran más empáticas y de mayor calidad que las respuestas humanas.
Aunque el uso de la IA promete mejorar la eficiencia y la calidad de la atención sanitaria, deben tenerse en cuenta algunas limitaciones:
- Los MLM a menudo no pueden responder de manera adecuada a información nueva.
- ChatGPT se entrena con información general de internet en lugar de fuentes médicas validadas.
- Se necesita mayor regulación y la adopción de medidas que protejan la privacidad de los pacientes.
Por otro lado, una limitación de este estudio es la falta de una comparación directa con las respuestas generadas por los médicos.
Conclusiones
ChatGPT generó respuestas adecuadas en casi el 50 % de los mensajes de los pacientes y mostró un mejor desempeño en las preguntas fáciles que en las más complejas.
Futuros estudios que evalúen el rendimiento de los MLM en otras áreas de la urología son esenciales para guiar el desarrollo y mejorar el rendimiento de estos modelos en diferentes disciplinas. Hasta entonces, el uso de ChatGPT para responder a los mensajes de los pacientes puede contribuir a reducir la carga laboral y mejorar el bienestar del equipo sanitario.
ES-NPR-2400054
