Optimalisasi DoRA untuk Deteksi Ujaran Kebencian Berbahasa Indonesia Berbasis Transformer
DOI:
https://doi.org/10.25077/TEKNOSI.v11i3.2025.341-349Kata Kunci:
Ujaran Kebencian, Bahasa Indonesia, Transformer, DoRA, Fine-tuningAbstrak
Ujaran kebencian (UK) merupakan fenomena meresahkan yang cepat menyebar melalui media sosial, menimbulkan dampak negatif pada kohesi sosial dan kesehatan mental individu. Di Indonesia, peningkatan kasus UK menuntut pengembangan sistem deteksi otomatis yang cepat dan akurat. Penelitian sebelumnya telah memanfaatkan model transformer, namun sering kali disertai dengan penambahan arsitektur deep learning seperti CNN atau BiLSTM, yang justru meningkatkan kompleksitas model. Penelitian ini bertujuan untuk mengoptimalkan kinerja deteksi UK berbahasa Indonesia dengan menerapkan teknik Weight-Decomposed Low-Rank Adaptation (DoRA) pada model transformer pre-trained IndoBERT-Base, IndoBERT-Large, dan IndoBERTweet-Base. Efektivitas DoRA dibandingkan dengan teknik full fine-tuning dievaluasi menggunakan dataset berisi 13.169 twit berbahasa Indonesia yang telah dianotasi. Hasil eksperimen menunjukkan bahwa DoRA secara konsisten meningkatkan kinerja pada semua model yang diuji. Model IndoBERTweet-Base dengan DoRA mencapai F1-score tertinggi sebesar 89,64%, melampaui full fine-tuning IndoBERTweet (88,18%) serta hasil terbaik dari studi sebelumnya yang menggunakan arsitektur lebih kompleks, seperti IndoBERTweet + CNN (87,60%) dan IndoBERTweet + BiLSTM (88,30%). Temuan ini menunjukkan bahwa fine-tuning model transformer menggunakan DoRA merupakan strategi yang efektif untuk deteksi UK dalam Bahasa Indonesia, tanpa memerlukan penambahan arsitektur deep learning yang kompleks.Referensi
F. Ihsan, I. Iskandar, N. S. Harahap, and S. Agustian, “Algoritme decision tree untuk mendeteksi ujaran kebencian dan bahasa kasar multilabel pada Twitter berbahasa Indonesia,” Jurnal Teknologi dan Sistem Komputer, vol. 9, no. 4, pp. 199–204, Oct. 2021, doi: 10.14710/jtsiskom.2021.13907.
H. Margono, M. Saud, and A. Ashfaq, “Dynamics of hate speech in social media: insights from Indonesia,” Global Knowledge, Memory and Communication, vol. ahead-of-print, no. ahead-of-print, Jan. 2024, doi: 10.1108/GKMC-11-2023-0464.
K. Saha, E. Chandrasekharan, and M. de Choudhury, “Prevalence and Psychological Effects of Hateful Speech in Online College Communities,” in Proceedings of the 2019 ACM Web Science Conference, Association for Computing Machinery, 2019, pp. 255–264. doi: 10.1145/3292522.3326032.
Y. P. Setianto, H. Nurjuman, and U. R. Handaningtias, “Remaja, Media Sosial Dan Ujaran Kebencian: Studi Konsumsi Online Religious Content Di Banten,” Interaksi: Jurnal Ilmu Komunikasi, vol. 12, no. 1, pp. 125–145, Jun. 2023, doi: 10.14710/interaksi.12.1.125-144.
A. B. F. Cahyono, A. Khalisah, L. Safitri, T. Lestari, and Y. N. Hudaya, “Ujaran Kebencian di Media Sosial: Ditinjau dari Kematangan Emosi Dengan Kecerdasan Moral sebagai Mediator,” Jurnal Psikologi Integratif, vol. 11, no. 2, pp. 205–218, Oct. 2023, doi: 10.14421/jpsi.v11i2.2750.
L. al Hakim and S. H. Anshori, “Konektivitasi Hate Speech, Hoaks, Media Mainstream dan Pengaruhnya Bagi Sosial Islam Indonesia,” Jurnal Dakwah dan Komunikasi, vol. 6, no. 2, pp. 149–168, Dec. 2021, doi: 10.29240/jdk.v6i2.3675.
I. Abdullah, H. Jubba, S. Z. Qudsy, M. Pabbajah, and Z. H. Prasojo, “The Use and Abuse of Internet Spaces: Fitna, Desacralization, and Conflict in Indonesia’s Virtual Reality,” Cosmopolitan Civil Societies: An Interdisciplinary Journal, vol. 16, no. 3, pp. 1–12, Dec. 2024, doi: 10.5130/ccs.v16.i3.8962.
Y. Lestari, N. Elian, Diego, A. Anindya, and R. F. Helmi, “The Relationship Between Social Media Usage and Responses to Hoax and Hate Speech in Padang,” Studies in Media and Communication, vol. 12, no. 3, pp. 393–404, Sep. 2024, doi: 10.11114/smc.v12i3.6682.
L. Espinosa Anke et al., “Hate speech detection: A solved problem? The challenging case of long tail on Twitter,” Semant. Web, vol. 10, no. 5, pp. 925–945, Jan. 2019, doi: 10.3233/SW-180338.
G. Kovács, P. Alonso, and R. Saini, “Challenges of Hate Speech Detection in Social Media,” SN Computer Science, vol. 2, no. 2, p. 95, 2021, doi: 10.1007/s42979-021-00457-3.
S. D. A. Putri, M. O. Ibrohim, and I. Budi, “Abusive language and hate speech detection for Javanese and Sundanese languages in tweets: Dataset and preliminary study,” in 2021 11th International Workshop on Computer Science and Engineering, WCSE 2021, in 2021 11th International Workshop on Computer Science and Engineering, WCSE 2021. International Workshop on Computer Science and Engineering (WCSE), 2021, pp. 461–465. doi: 10.18178/wcse.2021.02.011.
T. T. A. Putri, S. Sriadhi, R. D. Sari, R. Rahmadani, and H. D. Hutahaean, “A comparison of classification algorithms for hate speech detection,” IOP Conference Series: Materials Science and Engineering, vol. 830, no. 3, p. 32006, Apr. 2020, doi: 10.1088/1757-899X/830/3/032006.
P. S. Br Ginting, B. Irawan, and C. Setianingsih, “Hate Speech Detection on Twitter Using Multinomial Logistic Regression Classification Method,” in 2019 IEEE International Conference on Internet of Things and Intelligence System (IoTaIS), 2019, pp. 105–111. doi: 10.1109/IoTaIS47347.2019.8980379.
T. L. Sutejo and D. P. Lestari, “Indonesia Hate Speech Detection Using Deep Learning,” in 2018 International Conference on Asian Language Processing (IALP), 2018, pp. 39–43. doi: 10.1109/IALP.2018.8629154.
J. Patihullah and E. Winarko, “Hate Speech Detection for Indonesia Tweets Using Word Embedding and Gated Recurrent Unit,” IJCCS (Indonesian Journal of Computing and Cybernetics Systems), vol. 13, no. 1, pp. 43–52, Jan. 2019, doi: 10.22146/ijccs.40125.
D. A. N. Erlani and E. B. Setiawan, “Hate Comment Detection on Twitter Using Long Short Term Memory (LSTM) With Genetic Algorithm (GA),” Eduvest – Journal of Universal Studies, vol. 4, no. 11, pp. 10191–10201, Nov. 2024, doi: 10.59188/eduvest.v4i11.1758.
F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” CoRR, vol. abs/2011.00677, 2020, [Online]. Available: https://arxiv.org/abs/2011.00677
F. Koto, J. H. Lau, and T. Baldwin, “IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization,” in Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, M.-F. Moens, X. Huang, L. Specia, and S. W. Yih, Eds., Online and Punta Cana, Dominican Republic: Association for Computational Linguistics, Nov. 2021, pp. 10660–10668. doi: 10.18653/v1/2021.emnlp-main.833.
A. Marpaung, R. Rismala, and H. Nurrahmi, “Hate Speech Detection in Indonesian Twitter Texts using Bidirectional Gated Recurrent Unit,” in 2021 13th International Conference on Knowledge and Smart Technology (KST), 2021, pp. 186–190. doi: 10.1109/KST51265.2021.9415760.
S. Lintang, “IndoBERT: Transformer-based Model for Indonesian Language,” Yogyakarta, 2020. [Online]. Available: https://etd.repository.ugm.ac.id/penelitian/detail/190630.
J. F. Kusuma and A. Chowanda, “Indonesian Hate Speech Detection Using IndoBERTweet and BiLSTM on Twitter,” International Journal on Informatics Visualization, vol. 7, no. 3, pp. 773–780, Sep. 2023, doi: 10.30630/joiv.7.3.1035.
S.-Y. Liu et al., “DoRA: weight-decomposed low-rank adaptation,” in Proceedings of the 41st International Conference on Machine Learning, in ICML’24. JMLR.org, 2024.
V. B. Parthasarathy, A. Zafar, A. I. khan, and A. Shahid, “The Ultimate Guide to Fine-tuning LLMs from Basics to BreakthrougUK: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities,” ArXiv, vol. abs/2408.13296, 2024, [Online]. Available:https://api.semanticscholar.org/CorpusID:271956978.
M. O. Ibrohim and I. Budi, “Multi-label Hate Speech and Abusive Language Detection in Indonesian Twitter,” in Proceedings of the Third Workshop on Abusive Language Online, S. T. Roberts, J. Tetreault, V. Prabhakaran, and Z. Waseem, Eds., Florence, Italy: Association for Computational Linguistics, Aug. 2019, pp. 46–57. doi: 10.18653/v1/W19-3506.
E. J. Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models,” CoRR, vol. abs/2106.09685, 2021, [Online]. Available: https://arxiv.org/abs/2106.09685.
T. Dettmers, A. Pagnoni, A. Holtzman, and L. Zettlemoyer, “QLORA: efficient finetuning of quantized LLMs,” in Proceedings of the 37th International Conference on Neural Information Processing Systems, in NIPS ’23. Red Hook, NY, USA: Curran Associates Inc., 2023.
Z. Wu et al., “ReFT: Representation Finetuning for Language Models.” 2024. [Online]. Available: https://arxiv.org/abs/2404.03592.
Unduhan
Telah diserahkan
Diterima
Diterbitkan
Cara Mengutip
Terbitan
Bagian
Lisensi
Hak Cipta (c) 2025 Jurnal Nasional Teknologi dan Sistem Informasi
Artikel ini berlisensiCreative Commons Attribution-ShareAlike 4.0 International License.
Hak cipta untuk artikel ini ditransfer ke Jurnal Nasional Teknologi dan Sistem Informasi (TEKNOSI) jika dan ketika artikel diterima untuk publikasi. Yang bertanda tangan di bawah ini dengan ini mentransfer setiap dan semua hak di dalam dan ke kertas termasuk tanpa batasan semua hak cipta untuk TEKNOSI. Yang bertanda tangan di bawah ini dengan ini menyatakan dan menjamin bahwa makalah tersebut asli dan bahwa ia adalah pembuat makalah, kecuali untuk bahan yang secara jelas diidentifikasi sebagai sumber aslinya, dengan pemberitahuan izin dari pemilik hak cipta jika diperlukan. Yang bertanda tangan di bawah ini menyatakan bahwa ia memiliki kekuatan dan wewenang untuk membuat dan melaksanakan penugasan ini.
Kami menyatakan bahwa:
- Makalah ini belum diterbitkan dalam bentuk yang sama di tempat lain.
- Makalah ini tidak akan dikirimkan di tempat lain untuk publikasi sebelum penerimaan/penolakan oleh Jurnal ini
- Izin hak cipta diperoleh untuk materi yang diterbitkan di tempat lain dan yang memerlukan izin ini untuk reproduksi.
Selanjutnya, Saya/kami dengan ini mentransfer hak publikasi yang tidak terbatas dari makalah yang disebutkan di atas secara keseluruhan kepada TEKNOSI. Transfer hak cipta mencakup hak untuk mereproduksi dan mendistribusikan artikel, termasuk cetak ulang, terjemahan, reproduksi foto, mikroform, bentuk elektronik (offline, online) atau reproduksi lain yang serupa.
Penulis yang sesuai menandatangani dan menerima tanggung jawab untuk merilis materi ini atas nama setiap dan semua penulis bersama. Perjanjian ini harus ditandatangani oleh setidaknya salah satu penulis yang telah memperoleh persetujuan dari rekan penulis jika berlaku. Setelah pengajuan perjanjian ini ditandatangani oleh penulis yang sesuai, perubahan kepengarangan atau dalam urutan penulis yang tercantum tidak akan diterima.
Hak / Syarat dan Ketentuan yang dipertahankan :
- Penulis memiliki semua hak kepemilikan dalam setiap proses, prosedur, atau artikel manufaktur yang dijelaskan dalam Karya ini.
- Penulis dapat mereproduksi atau mengotorisasi orang lain untuk mereproduksi karya ini atau karya turunannya untuk penggunaan pribadi penulis atau untuk penggunaan perusahaan, dengan ketentuan bahwa sumber dan menyatakan hak cipta dimiliki TEKNOSI, salinan tidak digunakan dengan cara apa pun yang menyiratkan pengesahan TEKNOSI atas suatu produk atau layanan dari pihak mana pun, dan salinannya sendiri tidak ditawarkan untuk dijual.
- Meskipun penulis diizinkan untuk menggunakan kembali semua atau sebagian dari karya ini dalam karya lain, ini tidak termasuk mengabulkan permintaan pihak ketiga untuk mencetak ulang, menerbitkan ulang, atau jenis penggunaan ulang lainnya.
This work is licensed under a 