CHATGPT-4O DAN KECURANGAN ONLINE: ANALISIS KASUS DALAM SERTIFIKASI PEMROGRAMAN
https://scholar.google.com/citations?hl=id&user=1km8XXEAAAAJ
UIN K.H. Abdurrahman Wahid Pekalongan
Indonesia
UIN K.H. Abdurrahman Wahid Pekalongan
Indonesia
Universitas Muhadi Setiabudi
Indonesia
Article Submitted: 21 July 2024
Article Published: 31 December 2024
Abstract
Asisten virtual berbasis Artificial Intelligence (AI) seperti ChatGPT-4o telah menjadi alat yang sering digunakan dalam berbagai bidang, termasuk pendidikan. ChatGPT-4o merupakan model terbaru dari ChatGPT yang dapat menghasilkan respon lebih cepat dari model sebelumnya, sehingga membuka peluang dan tantangan baru, khususnya dalam bidang pendidikan terkait ujian dan penilaian. Penelitian ini bertujuan untuk mengevaluasi penggunaan ChatGPT-4o dalam konteks ujian sertifikasi pemrograman online terkait integritas sistem ujian serta mengusulkan metode ujian yang lebih efektif untuk mencegah kecurangan berbasis AI. Dengan menggunakan metode eksperimen lapangan, ChatGPT-4o diuji dalam empat sertifikasi pemrograman berbeda pada platform pendidikan online. Hasil penelitian menunjukkan ChatGPT-4o dapat menyelesaikan ujian dengan rata-rata jawaban benar mencapai 93% pada keempat sertifikasi, hal ini memperlihatkan keterbatasan metode ujian online saat ini yang memungkinkan peserta ujian berbuat curang menggunakan AI seperti ChatGPT-4o sehingga semua peserta ujian dapat lulus sertifikasi kompetensi pemrograman meskipun tidak mempunyai kompetensi dibidang tersebut. Berdasarkan temuan ini, terdapat beberapa alternatif metode ujian online yang disarankan untuk meningkatkan validitas serta integritas ujian, seperti: ujian berbasis proyek, ujian dengan pengawasan langsung, ujian menggunakan soal berbentuk video dan ujian berbasis wawancara. Temuan ini penting bagi stakeholder pendidikan dan lembaga sertifikasi untuk memformulasikan strategi efektif dalam menghadapi tantangan akibat perkembangan AI.
Keywords
References
S. Arora, V. A. Athavale, Himanshu Maggu, dan A. Agarwal, “Artificial Intelligence and Virtual Assistant—Working Model,” 2021, hlm. 163–171. doi: 10.1007/978-981-15-7130-5_12.
P. N. R. Mina dkk., “Leveraging Education through Artificial Intelligence Virtual Assistance: A Case Study of Visually Impaired Learners,” International Journal of Educational Innovation and Research, vol. 2, no. 1, hlm. 10–22, Jan 2023, doi: 10.31949/ijeir.v2i1.3001.
I. P. Pujiono, A. Prayogi, dan M. I. Firdausi, “WORKSHOP GOOGLE GEMINI UNTUK MEMBUAT ARTIKEL DENGAN TEKNIK SEO BAGI ANGGOTA KOPERASI MAHASISWA UIN K.H. ABDURRAHMANWAHID PEKALONGAN,” Dharma Pengabdian Perguruan Tinggi (DEPATI), vol. 4, no. 1, hlm. 45–53, Mei 2024, doi: 10.33019/depati.v4i1.5225.
M. R. King, “The Future of AI in Medicine: A Perspective from a Chatbot,” Ann Biomed Eng, vol. 51, no. 2, hlm. 291–295, Feb 2023, doi: 10.1007/s10439-022-03121-w.
A. R. Kirmani, “Artificial Intelligence-Enabled Science Poetry,” ACS Energy Lett, vol. 8, no. 1, hlm. 574–576, Jan 2023, doi: 10.1021/acsenergylett.2c02758.
D. Sobania, M. Briesch, C. Hanna, dan J. Petke, “An Analysis of the Automatic Bug Fixing Performance of ChatGPT,” Jan 2023, doi: 10.48550/arXiv.2301.08653.
Md. M. Rahman dan Y. Watanobe, “ChatGPT for Education and Research: Opportunities, Threats, and Strategies,” Applied Sciences, vol. 13, no. 9, hlm. 5783, Mei 2023, doi: 10.3390/app13095783.
J. Šlapeta, “Are ChatGPT and other pretrained language models good parasitologists?,” Trends Parasitol, vol. 39, no. 5, hlm. 314–316, Mei 2023, doi: 10.1016/j.pt.2023.02.006.
J. Rudolph, S. Tan, dan S. Tan, “ChatGPT: Bullshit spewer or the end of traditional assessments in higher education?,” Journal of Applied Learning & Teaching, vol. 6, no. 1, Jan 2023, doi: 10.37074/jalt.2023.6.1.9.
T. Susnjak, “ChatGPT: The End of Online Exam Integrity?,” Des 2022, doi: 10.48550/arXiv.2212.09292.
C. Leiter dkk., “ChatGPT: A Meta-Analysis after 2.5 Months,” Feb 2023, doi: 10.48550/arXiv.2302.13795.
S. Bordt dan U. von Luxburg, “ChatGPT Participates in a Computer Science Exam,” Mar 2023, doi: 10.48550/arXiv.2303.09461.
U. Khairatun Hisan dan M. Miftahul Amri, “ChatGPT and Medical Education: A Double-Edged Sword,” Journal of Pedagogy and Education Science, vol. 2, no. 01, hlm. 71–89, Mar 2023, doi: 10.56741/jpes.v2i01.302.
T. Wu dkk., “A Brief Overview of ChatGPT: The History, Status Quo and Potential Future Development,” IEEE/CAA Journal of Automatica Sinica, vol. 10, no. 5, hlm. 1122–1136, Mei 2023, doi: 10.1109/JAS.2023.123618.
N. Zhang, Z. Sun, Y. Xie, H. Wu, dan C. Li, “The latest version ChatGPT powered by GPT-4o: what will it bring to the medical field?,” International Journal of Surgery, Jun 2024, doi: 10.1097/JS9.0000000000001754.
J. Bae, S. Kwon, dan S. Myeong, “Enhancing Software Code Vulnerability Detection Using GPT-4o and Claude-3.5 Sonnet: A Study on Prompt Engineering Techniques,” Electronics (Basel), vol. 13, no. 13, hlm. 2657, Jul 2024, doi: 10.3390/electronics13132657.
J. C. F. de Winter, “Can ChatGPT Pass High School Exams on English Language Comprehension?,” Int J Artif Intell Educ, Sep 2023, doi: 10.1007/s40593-023-00372-z.
A. G. Prawiyogi dan R. A. Toyibah, “Strategi Peningkatan Kompetensi Mahasiswa Melalui Model Sertifikasi Kompetensi,” ADI Bisnis Digital Interdisiplin Jurnal, vol. 1, no. 1, hlm. 78–86, Jun 2020, doi: 10.34306/abdi.v1i1.103.
M. Richards, K. Waugh, M. Slaymaker, M. Petre, J. Woodthorpe, dan D. Gooch, “Bob or Bot: Exploring ChatGPT’s Answers to University Computer Science Assessment,” ACM Transactions on Computing Education, vol. 24, no. 1, hlm. 1–32, Mar 2024, doi: 10.1145/3633287.
M. Frenkel dan H. Emara, “ChatGPT & Mechanical Engineering: Examining performance on the FE Mechanical Engineering and Undergraduate Exams,” Sep 2023.
N. C. Mendonça, “Evaluating ChatGPT-4 Vision on Brazil’s National Undergraduate Computer Science Exam,” ACM Transactions on Computing Education, Jun 2024, doi: 10.1145/3674149.
V. S. Popov, “ChatGPT and Unified State Exam in Computer Science,” dalam 2024 6th International Youth Conference on Radio Electronics, Electrical and Power Engineering (REEPE), IEEE, Feb 2024, hlm. 1–6. doi:10.1109/REEPE60449.2024.10479881.
A. Maitland, R. Fowkes, dan S. Maitland, “Can ChatGPT pass the MRCP (UK) written examinations? Analysis of performance and errors using a clinical decision-reasoning framework,” BMJ Open, vol. 14, no. 3, hlm. e080558, Mar 2024, doi: 10.1136/bmjopen-2023-080558.
A. P. Gandhi dkk., “Performance of ChatGPT on the India Undergraduate Community Medicine Examination: Cross-Sectional Study,” JMIR Form Res, vol. 8, hlm. e49964, Mar 2024, doi: 10.2196/49964.
A. Sumbal, R. Sumbal, dan A. Amir, “Can ChatGPT-3.5 Pass a Medical Exam? A Systematic Review of ChatGPT’s Performance in Academic Testing,” J Med Educ Curric Dev, vol. 11, Jan 2024, doi: 10.1177/23821205241238641.
S. Suwała dkk., “ChatGPT-3.5 passes Poland’s medical final examination—Is it possible for ChatGPT to become a doctor in Poland?,” SAGE Open Med, vol. 12, Jan 2024, doi: 10.1177/20503121241257777.
K.-C. Li dkk., “Performance of ChatGPT on Chinese Master’s Degree Entrance Examination in Clinical Medicine,” PLoS One, vol. 19, no. 4, hlm. e0301702, Apr 2024, doi: 10.1371/journal.pone.0301702.
I. P. Pujiono, E. H. Rachmawanto, dan F. M. Hana, “Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online,” JURNAL KRIDATAMA SAINS DAN TEKNOLOGI, vol. 6, no. 01, hlm. 34–46, Jan 2024, doi: 10.53863/kst.v6i01.1052.
B. L. Y. Nugraheni, A. A. Chrismastuti, dan E. L. M. Sitinjak, Pedoman Penulisan Karya Ilmiah Dengan Berbagai Paradigma Penelitian. Semarang: Universitas Katolik Soegijapranata, 2021.
G. Polverini dan B. Gregorcic, “Evaluating vision-capable chatbots in interpreting kinematics graphs: a comparative study of free and subscription-based models,” Jun 2024.
N. Zhu, N. Zhang, Q. Shao, K. Cheng, dan H. Wu, “OpenAI’s GPT-4o in surgical oncology: Revolutionary advances in generative artificial intelligence,” Eur J Cancer, vol. 206, hlm. 114132, Jul 2024, doi: 10.1016/j.ejca.2024.114132.
Great Learning, “About Us: Great Learning,”https://www.mygreatlearning.com/about-us.
M. Liu dkk., “Performance of Advanced Large Language Models (GPT-4o, GPT-4, Gemini 1.5 Pro, Claude 3 Opus) on Japanese Medical Licensing Examination: A Comparative Study,” medRxiv, hlm. 2024.07.09.24310129, Jan2024,doi:10.1101/2024.07.09.24310129.
S. Shahriar dkk., “Putting GPT-4o to the Sword: A Comprehensive Evaluation of Language, Vision, Speech, and Multimodal Proficiency,” Jun 2024.
