Implementasi Random Forest Menggunakan SMOTE untuk Analisis Sentimen Ulasan Aplikasi Sister for Students UNEJ

Penulis

  • Anisa Fitri Anjani Jurusan Matematika Fakultas MIPA, Universitas Jember https://orcid.org/0009-0001-2525-8708
  • Dian Anggraeni Jurusan Matematika Fakultas MIPA, Universitas Jember
  • I Made Tirta Jurusan Matematika Fakultas MIPA, Universitas Jember

DOI:

https://doi.org/10.25077/TEKNOSI.v9i2.2023.163-172

Kata Kunci:

Random Forest, SMOTE, Analisis Sentimen, Sister for Students

Abstrak

Pendidikan di era digital sangat memanfaatkan teknologi dan informasi sebagai prasarana  pembelajaran melalui aplikasi milik perguruan tinggi tertenu. Sister for Students (SFS) merupakan aplikasi yang dikembangkan oleh UPT-TIK Universitas Jember yang memiliki peran sangat penting untuk menunjang kegiatan pembelajaran di Universitas Jember, sehingga perlu dilakukan analisis kualitas layanan aplikasi tersebut berdasarkan komentar oleh pengguna menggunakan analisis sentimen. Analisis sentimen merupakan klasifikasi teks yang dilakukan dengan tujuan memperoleh informasi dari pengguna mengenai kualitas layanan SFS. Masalah yang sering terjadi pada proses klasifikasi yaitu adanya data imbalance, salah satunya pada klasifikasi teks. SMOTE dilakukan untuk menangani data imbalance dengan cara membangkitkan data sintetis pada kelas minoritas, hal ini diharapkan agar kinerja klasifikasi lebih baik. Penelitian ini menggunakan metode klasifikasi Random Forest dan SMOTE dengan perbandingan proporsi splitting data  dan  untuk analisis sentimen pada ulasan aplikasi SFS. Data yang digunakan sebanyak 913 data dimana kelas positif sejumlah 363 dan negatif sejumlah 550. Hasil model terbaik yaitu model Random Forest menggunakan SMOTE dengan proporsi 90:10 dengan akurasi testing 98,9%, recall 100%, precision 96,7%, f1-score 98,3% dan nilai AUC sebesar 99,2%. Informasi yang diperoleh dari analisis sentimen SFS UNEJ diperoleh kata yang mengarah positif  yaitu “bagusâ€, “mantapâ€, “kerenâ€, “bantuâ€, “lumayanâ€, “lebihbaikâ€, “mudahâ€, “unej†dan “sukaâ€. Kata yang mengarah pada sentimen negatif yaitu “erorâ€, “tidakbisaâ€, “presensiâ€, “jelekâ€, “updateâ€, “ribetâ€, “sulitâ€, “forceclose†dan “qrcodeâ€.

Biografi Penulis

Anisa Fitri Anjani, Jurusan Matematika Fakultas MIPA, Universitas Jember

Mahasiswa tingkat akhir Jurusan Matematika Fakultas MIPA Universitas Jember

Dian Anggraeni, Jurusan Matematika Fakultas MIPA, Universitas Jember

Menyelesaikan gelar Sarjana (S1) Statistika  Fmipa Universitas Brawijaya tahun 2005. Menyelesaikan gelar Magister (S2) Statistika tahun 2013 di Institut Tekhnologi Sepuluh Nopember (ITS) Surabaya. Mulai tahun 2007 sampai saat ini menjadi dosen di Jurusan Matematika FMIPA Universitas Jember.

I Made Tirta, Jurusan Matematika Fakultas MIPA, Universitas Jember

Menyelesaikan gelar Sarjana (S1) Pendidikan Matematika FKIP Universitas Udayana tahun 1984. Menyelesaikan gelar Magister (S2) tahun 1994 dan Doktor (S3) tahun 2001 pada The University of New England, Armidale Australia dalam bidang Statistika, khususnya Hierarchical Generalized Linier Model (HLGM). Mulai tahun 1999 sampai saat ini menjadi dosen di Jurusan Matematika FMIPA Universitas Jember.

Referensi

[1] W. E. Nurjanah, R. Setya Perdana, and M. A. Fauzi, “Analisis sentimen terhadap tayangan televisi berdasarkan opini masyarakat pada media sosial twitter menggunakan metode k-kearest neighbor dan pembobotan jumlah retweet,†Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 1, no. 12, pp. 1750–1757, 2017. [2] R. Siringoringo, “Klasifikasi data tidak Seimbang menggunakan algoritma SMOTE dan k-nearest neighbor,†Jurnal ISD, vol. 3, no. 1, pp. 44–49, 2018. [3] S. Chohan, A. Nugroho, A. Maezar Bayu Aji, W. Gata, and S. Nusa Mandiri, “Analisis sentimen aplikasi duolingo menggunakan metode naïve bayes dan synthetic minority over sampling technique,†Paradigma –Jurnal Informatika dan Komputer, vol. 22, no. 2, pp. 139–144, 2020. [4] E. Fitri, Y. Yuliani, S. Rosyida, and W. Gata, “Analisis sentimen terhadap aplikasi ruangguru menggunakan algoritma naive bayes, random forest dan support vector machine,†Transformatika, vol. 18, no. 1, pp. 71–80, 2020. [5] A. S. Neogi, K. A. Garg, R. K. Mishra, and Y. K. Dwivedi, “Sentiment analysis and classification of Indian farmers’ protest using twitter data,†International Journal of Information Management Data Insights, vol. 1, no. 2, Nov. 2021. [6] A. Yolanda, “Perancangan Ulang User Interface (Ui) Dan User Experience (Ux) Menggunakan Metode Lean UX Pada Aplikasi Sister for Students (Sfs) Universitas Jember,†Universitas Jember, Jember, 2020. [7] F. A. Nugraha, N. H. Harani, and R. Habibi, Analisis Sentimen Terhadap Pembatasan Sosial Menggunakan Deep Learning, Pertama. Pertama.Bandung: Kreatif Industri Nusantara, 2020. [8] O. W. Purbo, Text Mining Analisis MedSos, Kekuatan Brand & Intelijen di Internet. Yogyakarta: ANDI, 2019. [9] J. D. C. Aruan, B. Rahayudi, and A. Ridok, “Analisis sentimen opini Masyarakat terhadap pelayanan rumah sakit umum daerah menggunakan metode support vector machine dan rerm frequency-inverse document frequency,†Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 6, no. 5, pp. 2072–2078, 2022. [10] S. Jabri, A. Dahbi, and T. Gadi, “Ranking of text documents using TF-IDF weighting and association rules mining,†in International Conference on Optimization (ICOA), 2018, pp. 26–27. [11] N. V Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, “SMOTE: Synthetic Minority Over-sampling Technique,†Journal of Artificial Intelligence Research, vol. 16, pp. 321–357, 2002. [12] N. P. Y. T. Wijayanti, E. N. Kencana, and I. W. Sumarjaya, “SMOTE: potensi dan kekurangannya pada survei,†E-Jurnal Matematika, vol. 10, no. 4, p. 235, Nov. 2021. [13] I. Saputra and D. A. Kristiyanti, Machine Learning Untuk Pemula. Informatika Bandung, 2022. [14] B. Purnama, Pengantar Machine Learning. Bandung. Informatika Bandung, 2019. [15] R. Mayapada, R. W. Yanti, and S. Syarifuddin, “Analisis tingkat kepentingan terhadap faktor-faktor yang mempengaruhi indeks pembangunan manusia di indonesia,†JOMTA Journal of Mathematics: Theory and Applications, vol. 4, no. 2, pp. 45–49, 2022. [16] A. F. Hadi, A. F. Zulva, M. L. Hakim, M. D. Saputra, and H. Sadiyah, “Implementasi Explainable Machine Learning: Visualisasi Global Explainability and Local Interpretability pada Analisis Sentimen dengan SHAP dan LIME,†E-Journal BIAStatistics Departemen Statistika FMIPA Universitas Padjadjaran, vol. 17, no. 1, pp. 1–18, 2023. [17] C. Molnar, Interpretable Machine Learning a Guide for Making Black Box Models Explainable. Germany: Lean Publishing, 2019.

Unduhan

Diterbitkan

2023-09-02

Cara Mengutip

Anjani, A. F., Anggraeni, D., & Tirta, I. M. (2023). Implementasi Random Forest Menggunakan SMOTE untuk Analisis Sentimen Ulasan Aplikasi Sister for Students UNEJ. Jurnal Nasional Teknologi Dan Sistem Informasi, 9(2), 163–172. https://doi.org/10.25077/TEKNOSI.v9i2.2023.163-172

Terbitan

Vol 9 No 2 (2023): Agustus 2023

Bagian

Articles

Lisensi

Hak cipta untuk artikel ini ditransfer ke Jurnal Nasional Teknologi dan Sistem Informasi (TEKNOSI) jika dan ketika artikel diterima untuk publikasi. Yang bertanda tangan di bawah ini dengan ini mentransfer setiap dan semua hak di dalam dan ke kertas termasuk tanpa batasan semua hak cipta untuk TEKNOSI. Yang bertanda tangan di bawah ini dengan ini menyatakan dan menjamin bahwa makalah tersebut asli dan bahwa ia adalah pembuat makalah, kecuali untuk bahan yang secara jelas diidentifikasi sebagai sumber aslinya, dengan pemberitahuan izin dari pemilik hak cipta jika diperlukan. Yang bertanda tangan di bawah ini menyatakan bahwa ia memiliki kekuatan dan wewenang untuk membuat dan melaksanakan penugasan ini.

 

Kami menyatakan bahwa:

  1. Makalah ini belum diterbitkan dalam bentuk yang sama di tempat lain.
  2. Makalah ini tidak akan dikirimkan di tempat lain untuk publikasi sebelum penerimaan/penolakan oleh Jurnal ini
  3. Izin hak cipta diperoleh untuk materi yang diterbitkan di tempat lain dan yang memerlukan izin ini untuk reproduksi.

    Selanjutnya, Saya/kami dengan ini mentransfer hak publikasi yang tidak terbatas dari makalah yang disebutkan di atas secara keseluruhan kepada TEKNOSI. Transfer hak cipta mencakup hak untuk mereproduksi dan mendistribusikan artikel, termasuk cetak ulang, terjemahan, reproduksi foto, mikroform, bentuk elektronik (offline, online) atau reproduksi lain yang serupa.

    Penulis yang sesuai menandatangani dan menerima tanggung jawab untuk merilis materi ini atas nama setiap dan semua penulis bersama. Perjanjian ini harus ditandatangani oleh setidaknya salah satu penulis yang telah memperoleh persetujuan dari rekan penulis jika berlaku. Setelah pengajuan perjanjian ini ditandatangani oleh penulis yang sesuai, perubahan kepengarangan atau dalam urutan penulis yang tercantum tidak akan diterima.

 

Hak / Syarat dan Ketentuan yang dipertahankan :

  1. Penulis memiliki semua hak kepemilikan dalam setiap proses, prosedur, atau artikel manufaktur yang dijelaskan dalam Karya ini.
  2. Penulis dapat mereproduksi atau mengotorisasi orang lain untuk mereproduksi karya  ini atau karya turunannya untuk penggunaan pribadi penulis atau untuk penggunaan perusahaan, dengan ketentuan bahwa sumber dan menyatakan hak cipta  dimiliki TEKNOSI, salinan tidak digunakan dengan cara apa pun yang menyiratkan pengesahan TEKNOSI atas suatu produk atau layanan dari pihak mana pun, dan salinannya sendiri tidak ditawarkan untuk dijual.
  3. Meskipun penulis diizinkan untuk menggunakan kembali semua atau sebagian dari karya ini dalam karya lain, ini tidak termasuk mengabulkan permintaan pihak ketiga untuk mencetak ulang, menerbitkan ulang, atau jenis penggunaan ulang lainnya.