Comparing the performance of medical students, ChatGPT-3.5 and ChatGPT-4 in biostatistics exam: Pros and cons as an education assistant

Abstract

Studies have shown that the level of knowledge in biostatistics among medical students is lower than expected. This situation calls for the need to implement new methods in biostatistics education. The aim of this study is to evaluate the feasibility of ChatGPT as an education assistant in biostatistics. ChatGPT is a natural language processing model developed by OpenAI. It provides human-like responses to questions asked by users and is utilized in various fields for gaining information. ChatGPT operates with the latest GPT-4 model, while the previous version, GPT-3.5, is still in use. In this study the biostatistics performance of 245 Marmara University School of Medicine students was compared to ChatGPT-3.5 and ChatGPT-4 using an exam covering basic biostatistics topics. According to findings, ChatGPT-3.5 achieved 80% success rate in the exam, while ChatGPT-4 achieved 100% success rate. In contrast, the students achieved 67.9% success rate. Furthermore, ChatGPT-3.5 only recorded 33% success rate in questions requiring mathematical calculations, while ChatGPT-4 achieved 100% success rate in these questions. In conclusion, ChatGPT is a potential education assistant in biostatistics. Its success has increased significantly in the current version compared to the previous one. Further studies will be needed as new versions are releaAraştırmalar, tıp öğrencilerinin biyoistatistik konusundaki bilgi düzeylerinin beklenenden düşük olduğunu göstermiştir. Bu durum biyoistatistik eğitiminde yeni yöntemlerin uygulanması ihtiyacını doğurmaktadır. Bu çalışmanın amacı, ChatGPT'nin biyoistatistik alanında bir eğitim asistanı olarak uygulanabilirliğini değerlendirmektir. ChatGPT, OpenAI tarafından geliştirilmiş bir doğal dil işleme modelidir. Kullanıcılar tarafından sorulan sorulara insan benzeri cevaplar vermekte ve bilgi edinmek için çeşitli alanlarda kullanılmaktadır. ChatGPT, en yeni GPT-4 modeliyle çalışırken, önceki sürüm olan GPT-3.5 halen kullanımdadır. Bu çalışmada da 245 Marmara Üniversitesi Tıp Fakültesi öğrencisinin biyoistatistik performansları, temel biyoistatistik konularını kapsayan bir sınav kullanılarak ChatGPT3.5 ve ChatGPT-4 ile karşılaştırıldı. Sonuçlar Elde edilen bulgulara göre ChatGPT-3.5 sınavda %80, ChatGPT-4 ise %100 başarı oranı elde etmiştir. Buna karşılık, öğrenciler %67,9 başarı oranı elde ettiler. Ayrıca ChatGPT-3.5 matematiksel hesaplama gerektiren sorularda sadece %33 başarı oranı kaydederken, ChatGPT-4 bu sorularda %100 başarı oranı elde etmiştir. Sonuç olarak ChatGPT, biyoistatistik alanında potansiyel bir eğitim asistanıdır. Mevcut sürümdeki başarısı önceki sürüme göre önemli ölçüde artmıştır. Yeni sürümler çıktıkça daha fazla çalışmaya ihtiyaç duyulacaktır.