El desempeño del ChatGPT en la resolución de un examen de residencia médica: ¿un indicador de la evolución de inteligencia artificial en educación médica?

Simple item page
dc.creatorValdez Disla, Alexander
dc.creatorNouri Kandany, Vahid
dc.creatorValdez, Pascual
dc.date2024-06-03
dc.date.accessioned2024-06-04T05:30:11Z
dc.date.available2024-06-04T05:30:11Z
dc.descriptionIntroduction: ChatGPT (Generative Pre-trained Transformers) is a natural language processing tool developed by OpenAI that utilizes the GPT language model to generate human-like natural language responses. This technology has proven its capability in completing complex tasks and has garnered attention in the educational field, especially in medicine. The aim of this study is to evaluate the performance of ChatGPT in solving questions from the medical residency exam to opt for a specialty (ENURM) in the Dominican Republic in 2023. Methods: The 100 questions from the 2023 ENURM exam in multiple-choice question format were entered into ChatGPT 3.5, with the instruction to "select the correct answer to the following ENURM 2023 exam question." A cross-sectional descriptive study was conducted to assess the tool's performance. Results: ChatGPT achieved a 77% accuracy in the responses provided, while 23% of the questions were not answered correctly. When breaking down performance by question type, ChatGPT showed an effectiveness of 74.6% in direct questions and 88.2% in clinical cases. The specialties in which incorrect answers were identified include hematology, gastroenterology, cardiology, anatomy, genetics, surgery, pediatrics, gynecology, and infectious diseases. Despite these limitations, it is relevant to highlight that ChatGPT's performance exceeded the overall average of medical residency applicants in terms of response accuracy. Conclusions: ChatGPT demonstrated good performance in answering ENURM exam questions. This tool can be useful for natural language processing in medical education despite its limitations and cannot replace traditional teaching and clinical experience.en-US
dc.descriptionIntroducción: ChatGPT (Generative Pre-trained Transformeres) una herramienta de procesamiento de lenguaje natural desarrollada por OpenAI que utiliza el modelo de lenguaje GPT para generar respuestas similares al lenguaje humano natural. Esta tecnología ha demostrado su capacidad para completar tareas complejas y ha atraído la atención en el ámbito educativo, especialmente en la medicina. El objetivo de este estudio es evaluar el desempeño de ChatGPT en la resolución de preguntas del examen de residencia médica para optar por una especialidad (ENURM) en la República Dominicana en 2023. Métodos: Se ingresaron las 100 preguntas del examen ENURM de 2023 en formato de preguntas de selección múltiple en ChatGPT 3.5, con la instrucción de "seleccionar la respuesta correcta a la siguiente pregunta del examen ENURM 2023". Se realizó un estudio descriptivo transversal para evaluar el desempeño de la herramienta. Resultados: ChatGPT logró una precisión del 77% en las respuestas proporcionadas, mientras que el 23% de las preguntas no fueron respondidas correctamente. Al desglosar el rendimiento por tipo de pregunta, ChatGPT mostró una eficacia del 74.6% en preguntas directas y del 88.2% en casos clínicos. las especialidades en las cuales se identificaron respuestas incorrectas incluyen hematología, gastroenterología, cardiología, anatomía, genética, cirugía, pediatría, ginecología e infectología. A pesar de estas limitaciones, es relevante destacar que el desempeño de ChatGPT superó el promedio general de los aspirantes a residencias médicas en términos de precisión de respuestas. Conclusiones: ChatGPT demostró un buen desempeño en la respuesta a preguntas de examen ENURM. Esta herramienta puede ser útil para el procesamiento del lenguaje natural en la educación médica aún con sus limitaciones y no puede reemplazar la enseñanza tradicional y la experiencia clínica.es-ES
dc.formatapplication/pdf
dc.formattext/html
dc.formattext/xml
dc.formatapplication/epub+zip
dc.identifierhttps://revistas.intec.edu.do/index.php/cisa/article/view/2828
dc.identifier10.22206/cysa.2024.v8i2.2828
dc.identifier.urihttps://repositoriobiblioteca.intec.edu.do/handle/123456789/7618
dc.languagespa
dc.publisherIntituto Tecnológico de Santo Domingo (INTEC)es-ES
dc.relationhttps://revistas.intec.edu.do/index.php/cisa/article/view/2828/3587
dc.relationhttps://revistas.intec.edu.do/index.php/cisa/article/view/2828/3586
dc.relationhttps://revistas.intec.edu.do/index.php/cisa/article/view/2828/3588
dc.relationhttps://revistas.intec.edu.do/index.php/cisa/article/view/2828/3585
dc.rightsDerechos de autor 2024 Ciencia y Saludes-ES
dc.rightshttps://creativecommons.org/licenses/by-nc-sa/4.0/deed.eses-ES
dc.sourceScience and Health; Vol. 8 No. 2 (2024): Science and Health, april-june; 47-55en-US
dc.sourceCiencia y Salud; Vol. 8 Núm. 2 (2024): Ciencia y Salud, abril-junio; 47-55es-ES
dc.source2613-8824
dc.source2613-8816
dc.source10.22206/cysa.2024.v8i2
dc.subjectChatGPTes-ES
dc.subjectinteligencia artificiales-ES
dc.subjecteducación médicaes-ES
dc.subjectlenguaje naturales-ES
dc.subjectexamen de residencia médicaes-ES
dc.subjectChatGPTen-US
dc.subjectartificial intelligenceen-US
dc.subjectmedical educationen-US
dc.subjectnatural languageen-US
dc.subjectmedical residency examen-US
dc.titleThe performance of ChatGPT in solving a medical residency exam: an indicator of the evolution of artificial intelligence in medical education?en-US
dc.titleEl desempeño del ChatGPT en la resolución de un examen de residencia médica: ¿un indicador de la evolución de inteligencia artificial en educación médica?es-ES
dc.typeinfo:eu-repo/semantics/article
dc.typeinfo:eu-repo/semantics/publishedVersion
Files
Collections
Articulos CS