Comparison of C4.5, Artificial Neural Network, and Gaussian Naïve Bayes for Predicting Uncollectible Education Receivables with Grouped Permutation Importance Analysis
DOI:
https://doi.org/10.25077/TEKNOSI.v12i2.2026.312-326Keywords:
piutang pendidikan;, C4.5, klasifikasi pembelajaran mesin;, Artficial Neural NetworkAbstract
Pengelolaan piutang biaya pendidikan merupakan tantangan operasional bagi perguruan tinggi, khususnya dalam mengidentifikasi secara dini mahasiswa yang berpotensi mengalami ketidaklancaran pembayaran. Penelitian ini bertujuan membandingkan kemampuan prediktif algoritma C4.5, Artificial Neural Network (ANN), dan Gaussian Naïve Bayes dalam mengklasifikasikan status piutang biaya pendidikan mahasiswa, serta menganalisis kontribusi atribut prediktor secara konsisten lintas-model. Data terdiri atas 258 rekaman mahasiswa dari Institut Teknologi dan Bisnis Muhammadiyah Wakatobi yang mengintegrasikan karakteristik akademik, wilayah tempat tinggal, kondisi sosial ekonomi wali, serta jumlah dan umur piutang UKT dan BPP. Evaluasi menggunakan holdout terstratifikasi 80:20 dan 90:10 serta RepeatedStratifiedKFold 5×10 sebagai prosedur utama. Seluruh algoritma dilatih pada pembagian data yang identik dengan tahap imputasi, encoding, standardisasi, dan oversampling ditempatkan dalam pipeline pelatihan. Kinerja dievaluasi menggunakan accuracy, precision, recall, F1-score, balanced accuracy, dan PR-AUC. Analisis interpretabilitas menggunakan grouped permutation importance diterapkan seragam pada ketiga algoritma. ANN memperoleh kinerja tertinggi dengan accuracy 82,09% ± 6,17%, recall 82,71%, F1-score 78,62%, balanced accuracy 82,20%, dan PR-AUC 91,32%. C4.5 menghasilkan kinerja mendekati ANN dengan accuracy 81,04% ± 4,98% dan PR-AUC 89,08%, disertai simpangan baku lebih kecil yang mencerminkan prediksi lebih stabil. Gaussian Naïve Bayes menghasilkan recall 80,58% namun balanced accuracy hanya 53,86% dan PR-AUC 46,99%, mengindikasikan kecenderungan prediksi positif berlebihan. Jumlah Piutang UKT Mahasiswa merupakan atribut paling berpengaruh secara konsisten pada ketiga algoritma, diikuti Umur Piutang UKT dan Jumlah Piutang BPP. Atribut akademik, wilayah, dan sosial ekonomi memberikan kontribusi yang kecil atau tidak stabil. ANN dipilih sebagai model utama untuk kepentingan operasional yang memprioritaskan deteksi piutang tak tertagih, sedangkan C4.5 menjadi alternatif kompetitif apabila institusi mengutamakan keterpahaman aturan klasifikasi. Hasil penelitian memberikan dasar ilmiah bagi pengembangan sistem pendukung keputusan prioritas pemeriksaan piutang dengan tetap mensyaratkan verifikasi manual sebelum tindak lanjut diambil.References
P. A. Prayesy and E. S. Negara, “Classification of the Fluency Multipurpose of Bank Mandiri Credit Payments Based on Debtor Preferences Using Naive Bayes and Neural Network Method,” vol. 7, no. 1, pp. 7–16, Jun. 2022, doi: 10.15575/join.v7i1.762.
I. T. A. Nur, N. Y. Setiawan, and F. A. Bachtiar, “Perbandingan Performa Metode Klasifikasi SVM, Neural Network, dan Naive Bayes untuk Mendeteksi Kualitas Pengajuan Kredit di Koperasi Simpan Pinjam,” J. Teknol. Inf. Dan Ilmu Komput., vol. 6, no. 4, p. 444, Jul. 2019, doi: 10.25126/jtiik.2019641352.
X. Zhu, Q. Chu, X. Song, P. Hu, and L. Peng, “Explainable prediction of loan default based on machine learning models,” Data Sci. Manag., vol. 6, no. 3, pp. 123–133, Sep. 2023, doi: 10.1016/j.dsm.2023.04.003.
X. Zhang et al., “Data-Driven Loan Default Prediction: A Machine Learning Approach for Enhancing Business Process Management,” Systems, vol. 13, no. 7, p. 581, Jul. 2025, doi: 10.3390/systems13070581.
V. S. Ginting, K. Kusrini, and E. T. Luthfi, “PENERAPAN ALGORITMA C4.5 DALAM MEMPREDIKSI KETERLAMBATAN PEMBAYARAN UANG SEKOLAH MENGGUNAKAN PYTHON,” J. Teknol. Inf., vol. 4, no. 1, pp. 1–6, Jun. 2020, doi: 10.36294/jurti.v4i1.1101.
J. R. Quinlan, C4.5: Programs for Machine Learning. San Mateo, CA: Morgan Kaufmann Publishers, 1993.
J. R. Quinlan, “Induction of Decision Trees,” Mach. Learn., vol. 1, no. 1, pp. 81–106, 1986, doi: 10.1007/BF00116251.
G. E. Hinton, “Connectionist Learning Procedures,” Artif. Intell., vol. 40, no. 1–3, pp. 185–234, 1989, doi: 10.1016/0004-3702(89)90049-0.
scikit-learn developers, “1.17. Neural Network Models (Supervised) — MLPClassifier.” 2024. Accessed: Jun. 21, 2026. [Online]. Available: https://scikit-learn.org/stable/modules/neural_networks_supervised.html
F. Pedregosa et al., “Scikit-learn: Machine Learning in Python,” J. Mach. Learn. Res., vol. 12, pp. 2825–2830, 2011, doi: 10.5555/1953048.2078195.
A. Rahmayanti, L. Rusdiana, and S. Suratno, “PERBANDINGAN METODE ALGORITMA C4.5 DAN NAÏVE BAYES UNTUK MEMPREDIKSI KELULUSAN MAHASISWA,” Walisongo J. Inf. Technol., vol. 4, no. 1, pp. 11–22, Aug. 2022, doi: 10.21580/wjit.2022.4.1.9654.
L. Breiman, “Random Forests,” Mach. Learn., vol. 45, no. 1, pp. 5–32, 2001, doi: 10.1023/A:1010933404324.
B. Gregorutti, B. Michel, and P. Saint-Pierre, “Grouped Variable Importance with Random Forests and Application to Multiple Functional Data Analysis,” Comput. Stat. Data Anal., vol. 90, pp. 15–35, 2015, doi: 10.1016/j.csda.2015.04.002.
J. Davis and M. Goadrich, “The Relationship Between Precision-Recall and ROC Curves,” in Proceedings of the 23rd International Conference on Machine Learning (ICML ’06), New York, NY, USA: ACM, 2006, pp. 233–240. doi: 10.1145/1143844.1143874.
M. Imani, M. Joudaki, A. Bagheri, and H. R. Arabnia, “Why ROC-AUC Is Misleading for Highly Imbalanced Data: In-Depth Evaluation of MCC, F2-Score, H-Measure, and AUC-Based Metrics Across Diverse Classifiers,” Technologies, vol. 14, no. 1, p. 54, Jan. 2026, doi: 10.3390/technologies14010054.
S. Szeghalmy and A. Fazekas, “A Comparative Study of the Use of Stratified Cross-Validation and Distribution-Balanced Stratified Cross-Validation in Imbalanced Learning,” Sensors, vol. 23, no. 4, p. 2333, Feb. 2023, doi: 10.3390/s23042333.
V. Lumumba, D. Kiprotich, M. Mpaine, N. Makena, and M. Kavita, “Comparative Analysis of Cross-Validation Techniques: LOOCV, K-folds Cross-Validation, and Repeated K-folds Cross-Validation in Machine Learning Models,” Am. J. Theor. Appl. Stat., vol. 13, no. 5, pp.
–137, Oct. 2024, doi: 10.11648/j.ajtas.20241305.13.
G. Lemaître, F. Nogueira, and C. K. Aridas, “Imbalanced-learn: A Python Toolbox to Tackle the Curse of Imbalanced Datasets in Machine Learning,” J. Mach. Learn. Res., vol. 18, no. 17, pp. 1–5, 2017.
M. Rosenblatt, L. Tejavibulya, R. Jiang, S. Noble, and D. Scheinost, “Data leakage inflates prediction performance in connectome-based machine learning models,” Nat. Commun., vol. 15, no. 1, p. 1829, Feb. 2024, doi: 10.1038/s41467-024-46150-w.
S. Kapoor and A. Narayanan, “Leakage and the reproducibility crisis in machine-learning-based science,” Patterns, vol. 4, no. 9, p. 100804, Sep. 2023, doi: 10.1016/j.patter.2023.100804.
F. R. Pratikto, “Oversampling Sintetis Berbasis Kopula untuk Model Klasifikasi dengan Data yang Tidak Seimbang,” J. Rekayasa Sist. Ind., vol. 12, no. 1, pp. 1–10, Apr. 2023, doi: 10.26593/jrsi.v12i1.6380.1-10.
K. K. Nicodemus, J. D. Malley, C. Strobl, and A. Ziegler, “The Behaviour of Random Forest Permutation-Based Variable Importance Measures Under Predictor Correlation,” BMC Bioinformatics, vol. 11, p. 110, 2010, doi: 10.1186/1471-2105-11-110.
S. Mestiri, “Credit scoring using machine learning and deep Learning-Based models,” Data Sci. Finance Econ., vol. 4, no. 2, pp. 236–248, 2024, doi: 10.3934/DSFE.2024009.
T. T. Do, G. Babaei, and P. Pagnottoni, “Explainable Machine Learning for Credit Risk Management When Features are Dependent,” Meas. Interdiscip. Res. Perspect., vol. 22, no. 4, pp. 315–340, Oct. 2024, doi: 10.1080/15366367.2023.2261186.
C. Molnar, G. König, B. Bischl, and G. Casalicchio, “Model-agnostic feature importance and effects with dependent features: a conditional subgroup approach,” Data Min. Knowl. Discov., vol. 38, no. 5, pp. 2903–2941, Sep. 2024, doi: 10.1007/s10618-022-00901-9.
I. M. Zubair, Y.-S. Lee, and B. Kim, “A New Permutation-Based Method for Ranking and Selecting Group Features in Multiclass Classification,” Appl. Sci., vol. 14, no. 8, p. 3156, Apr. 2024, doi: 10.3390/app14083156.
Downloads
Submitted
Accepted
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Jurnal Nasional dan Sistem Informasi
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Hak cipta untuk artikel ini ditransfer ke Jurnal Nasional Teknologi dan Sistem Informasi (TEKNOSI) jika dan ketika artikel diterima untuk publikasi. Yang bertanda tangan di bawah ini dengan ini mentransfer setiap dan semua hak di dalam dan ke kertas termasuk tanpa batasan semua hak cipta untuk TEKNOSI. Yang bertanda tangan di bawah ini dengan ini menyatakan dan menjamin bahwa makalah tersebut asli dan bahwa ia adalah pembuat makalah, kecuali untuk bahan yang secara jelas diidentifikasi sebagai sumber aslinya, dengan pemberitahuan izin dari pemilik hak cipta jika diperlukan. Yang bertanda tangan di bawah ini menyatakan bahwa ia memiliki kekuatan dan wewenang untuk membuat dan melaksanakan penugasan ini.
Kami menyatakan bahwa:
- Makalah ini belum diterbitkan dalam bentuk yang sama di tempat lain.
- Makalah ini tidak akan dikirimkan di tempat lain untuk publikasi sebelum penerimaan/penolakan oleh Jurnal ini
- Izin hak cipta diperoleh untuk materi yang diterbitkan di tempat lain dan yang memerlukan izin ini untuk reproduksi.
Selanjutnya, Saya/kami dengan ini mentransfer hak publikasi yang tidak terbatas dari makalah yang disebutkan di atas secara keseluruhan kepada TEKNOSI. Transfer hak cipta mencakup hak untuk mereproduksi dan mendistribusikan artikel, termasuk cetak ulang, terjemahan, reproduksi foto, mikroform, bentuk elektronik (offline, online) atau reproduksi lain yang serupa.
Penulis yang sesuai menandatangani dan menerima tanggung jawab untuk merilis materi ini atas nama setiap dan semua penulis bersama. Perjanjian ini harus ditandatangani oleh setidaknya salah satu penulis yang telah memperoleh persetujuan dari rekan penulis jika berlaku. Setelah pengajuan perjanjian ini ditandatangani oleh penulis yang sesuai, perubahan kepengarangan atau dalam urutan penulis yang tercantum tidak akan diterima.
Hak / Syarat dan Ketentuan yang dipertahankan :
- Penulis memiliki semua hak kepemilikan dalam setiap proses, prosedur, atau artikel manufaktur yang dijelaskan dalam Karya ini.
- Penulis dapat mereproduksi atau mengotorisasi orang lain untuk mereproduksi karya ini atau karya turunannya untuk penggunaan pribadi penulis atau untuk penggunaan perusahaan, dengan ketentuan bahwa sumber dan menyatakan hak cipta dimiliki TEKNOSI, salinan tidak digunakan dengan cara apa pun yang menyiratkan pengesahan TEKNOSI atas suatu produk atau layanan dari pihak mana pun, dan salinannya sendiri tidak ditawarkan untuk dijual.
- Meskipun penulis diizinkan untuk menggunakan kembali semua atau sebagian dari karya ini dalam karya lain, ini tidak termasuk mengabulkan permintaan pihak ketiga untuk mencetak ulang, menerbitkan ulang, atau jenis penggunaan ulang lainnya.
This work is licensed under a 