Analisis Komparatif Kecerdasan Buatan Generatif pada Pemecahan Soal OSNK Matematika SMA melalui Black Box Testing

Ariadne Clarissa Darnetta Oswari; Angelim; Dicky Pratama

doi:10.47111/jointecoms.v6i2.25816

Authors

Ariadne Clarissa Darnetta Oswari Universitas Multi Data Palembang
Angelim Universitas Multi Data Palembang
Dicky Pratama Universitas Multi Data Palembang

DOI:

https://doi.org/10.47111/jointecoms.v6i2.25816

Keywords:

kecerdasan buatan, ChatGPT, Google Gemini, literasi matematika, black box testing

Abstract

Perkembangan kecerdasan buatan (AI) generatif seperti ChatGPT dan Gemini telah banyak dimanfaatkan dalam bidang pendidikan , termasuk matematika. Namun, penggunaan instan teknologi ini berisiko membuat siswa kehilangan proses berpikir dan bernalar, sebuah masalah yang signifikan mengingat rendahnya literasi matematika pelajar di Indonesia berdasarkan data PISA. Penelitian ini bertujuan untuk menguji tingkat keakuratan AI (GPT-5.3 dan Gemini 3 Flash) dalam menjawab soal kompleks tingkat olimpiade, yakni Olimpiade Sains Nasional tingkat Kabupaten/Kota (OSNK) Matematika SMA tahun 2024 dan 2025. Pendekatan kuantitatif digunakan dengan metode Black Box Testing. Hasil akhir dari 15 sampel soal per tahun yang dikerjakan oleh kedua AI dievaluasi menggunakan kunci jawaban rujukan. Hasil uji statistik deskriptif menunjukkan bahwa Gemini 3 Flash memiliki konsistensi yang lebih baik dengan tingkat akurasi tertinggi mencapai 80% (Cukup Akurat) pada soal tahun 2025. Sedangkan, ChatGPT versi GPT-5.3 mengalami penurunan performa pada periode yang sama dengan tingkat akurasi hanya sebesar 53,33% (Kurang Akurat). Penelitian ini menyimpulkan bahwa Gemini 3 Flash lebih efektif dan konsisten dibandingkan ChatGPT dalam menyelesaikan persoalan matematika tingkat lanjut. Walaupun begitu, teknologi AI seharusnya hanya diposisikan sebagai pendamping belajar yang diiringi dengan proses penalaran mandiri dan validasi manual guna menjaga kualitas literasi matematika siswa.

Downloads

Download data is not yet available.

DOI: 10.47111/jointecoms.v6i2.25816 DOI URL: https://doi.org/10.47111/jointecoms.v6i2.25816

Views: 0 | Downloads: 0

References

[1] R. Hibatulloh, P. U. S. W. Maulidia, I. N. Pertama, L. Paizrujah, dan A. Amini, “Analisis Peran Teknologi dalam Perkembangan Pembelajaran Matematika di Era Digital,” Pros. Disk. Panel Nas. Pendidik. Mat., vol. 1, no. 80, hal. 659–664, 2024, [Daring]. Tersedia pada: https://proceeding.unindra.ac.id/index.php/DPNPMunindra/article/view/7409

[2] M. A. Mujib dan Walid, “Literature Review : Peran Artificial Intelligence dalam Meningkatkan Pembelajaran Matematika di Era Digital,” J. Ilm. Ilmu Pendidik., vol. 8, no. September, 2025, [Daring]. Tersedia pada: https://jiip.stkipyapisdompu.ac.id/jiip/index.php/JIIP/article/view/9252/6303

[3] T. Derma, “System Administrator: Pengertian, Tanggung Jawab, dan Skill yang Harus Dimilikinya.” [Daring]. Tersedia pada: https://www.ekrut.com/media/system-administrator

[4] S. Rejeki, R. Setyaningsih, C. K. Sari, dan A. Nurcahyo, “Optimalisasi Penggunaan Artificial Intelligenceuntuk MendukungPembelajaran Matematika di SMA,” Transform. Masy. J. Inov. Sos. dan Pengabdi., vol. 2, no. April, hal. 93–102, 2025, [Daring]. Tersedia pada: https://pkm.lpkd.or.id/index.php/Transformasi/article/view/1964/2015

[5] A. Maritsa, U. H. Salsabila, M. Wafiq, P. R. Anindya, dan M. A. Ma’shum, “PENGARUH TEKNOLOGI DALAM DUNIA PENDIDIKAN,” J. Penelit. dan Kaji. Sos. Keagamaan, vol. 18, no. 2, hal. 91–100, 2021, doi: 10.46781/al-mutharahah.v18i2.303.

[6] PISA, PISA, vol. I. 2019. [Daring]. Tersedia pada: https://www.oecd.org/en/publications/pisa-2018-results-volume-i_5f07c754-en.html

[7] M. A. Azizah dan J. Mansyur, “PERBANDINGAN KAPABILITAS RESPONS ChatGPT DAN GEMINI TERHADAP PERTANYAAN KONSEPTUAL TENTANG OPTIK,” J. Pendidik. Fis. Tadulako Online, vol. 12, no. April, hal. 15–25, 2024, [Daring]. Tersedia pada: https://jurnalfkipuntad.com/index.php/jpft/article/view/3510/2076

[8] Firman dan Firdaus, “Efektivitas Artificial Intelligence (AI) dalam Menjawab Soal Higher Order Thinking Skill (HOTS),” Indones. J. Educ. Sci., vol. 6, no. 1, hal. 15–30, 2023, [Daring]. Tersedia pada: https://garuda.kemdiktisaintek.go.id/documents/detail/4314501

[9] Intel, “Apa Itu AI Generatif (GenAI)?” [Daring]. Tersedia pada: https://www.intel.co.id/content/www/id/id/learn/what-is-generative-ai.html

[10] S. Siregar, “Literasi Matematika Menurut NCTM (National Council of Teachers of Mathematics),” UIN Syekh Ali Hasan Ahmad Addary Padangsidimpuan.

[11] T. M. Isnaeni, D. A. Fitri, O. Musyarrofah, dan Ilhammullah, “AplikasiManajemen Keuangan Pribadi BerbasisMobileMenggunakanFrameworkFlutter,” J. Comput. Sci. Inf. Technol., vol. 6, no. 3, hal. 602–609, 2025, [Daring]. Tersedia pada: https://ejurnal.umri.ac.id/index.php/coscitech/article/view/10602/4027

[12] A. Fauzi dan A. H. Yunial, Testing dan QA Perangkat Lunak. EUREKA MEDIA AKSARA, 2925. [Daring]. Tersedia pada: https://repository.penerbiteureka.com/media/publications/595654-testing-dan-qa-perangkat-lunak-memahami-e702c301.pdf

[13] Anang, “Pembahasan Soal OSNK 2024,” Pembahasan OSNK Matematika SMA 2024. [Daring]. Tersedia pada: https://pak-anang.blogspot.com/2024/03/pembahasan-soal-osk-osnk-ksn-k.html?m=1

[14] Anang, “Pembahasan OSNK Matematika SMA 2025.” [Daring]. Tersedia pada: https://www.scribd.com/document/898436383/Pembahasan-Soal-OSNK-Matematika-SMA-2025-Tingkat-Kabupaten-Kota-signed-pak-anang-blogspot-com