Analisis Komparatif Kinerja Llama Murni, Rag Native, dan Rag Fine-Tuning
DOI:
https://doi.org/10.25077/TEKNOSI.v11i3.2025.263-272Keywords:
Retrieval-Augmented Generation (RAG), Llama 3, LangChain, AI Hallucination, System-level Tuning, Domain-Specific Chatbot, ROUGE-L, BLEUAbstract
Penelitian ini mengatasi masalah halusinasi pada Large Language Models (LLM) seperti LLaMA ketika menjawab kueri domain spesifik. Tujuan penelitian adalah membandingkan kinerja tiga arsitektur chatbot: LLaMA murni, Retrieval-Augmented Generation (RAG) berbasis LangChain (RAG Native), dan RAG Fine-Tuning. Implementasi RAG pada penelitian ini menggunakan framework LangChain sebagai sistem penghubung antara model LLaMA dan sumber pengetahuan eksternal (vector database). Framework ini menyediakan pipeline retriever-reader yang memungkinkan integrasi antara model bahasa dan data kontekstual melalui embedding serta pencarian vektor. Metode evaluasi dilakukan secara kuantitatif menggunakan metrik ROUGE-L dan BLEU pada dataset studi kasus. Hasil penelitian menunjukkan peningkatan kinerja yang progresif: arsitektur LLaMA murni (baseline) memperoleh skor ROUGE-L sebesar 46.48, implementasi RAG Native (LangChain) meningkat menjadi 61.42, dan model RAG Fine-Tuning (LangChain Optimized) mencapai kinerja tertinggi dengan skor 83.06. Penelitian ini menyimpulkan bahwa integrasi arsitektur RAG melalui framework LangChain secara signifikan meningkatkan akurasi respons chatbot, dan proses fine-tuning pada konfigurasi RAG merupakan langkah optimasi krusial untuk mencapai performa terbaik pada domain spesifik.References
A. Khan, Y. Wang, W. Zhang, Y. Tian, and M. T. Özsu, “LLM + Vector Data: Coupling of Large Language Models with Vector Data Management for Enhancing Data Science,” Proceedings - 2025 IEEE 41st International Conference on Data Engineering Workshops, ICDEW 2025, pp. 93–96, 2025, doi: 10.1109/ICDEW67478.2025.00018.
P. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” Apr. 2021, [Online]. Available: http://arxiv.org/abs/2005.11401
Y. V Patel, V. Salvia, and I. Kumar, “A Survey on Retrieval-Augmented Generation: From Naive to Adaptive Approaches with Financial Insights.”
A. Kotiyal, J. Praveen Gujjar, M. S. Guru Prasad, R. M. Devadas, V. Hiremani, and P. Tangade, “Chat with PDF using LangChain Model,” in 2nd IEEE International Conference on Advances in Information Technology, ICAIT 2024 - Proceedings, Institute of Electrical and Electronics Engineers Inc., 2024. doi: 10.1109/ICAIT61638.2024.10690817.
K. R. Ong and W. P. Wong, “Optimizing Information Retrieval in RAG through Intelligent Reranking and Follow-Up Query Predictions,” Sep. 03, 2025. doi: 10.21203/rs.3.rs-7506627/v1.
S. Mathur and A. Chhabra, “Vector Search Algorithms: A Brief Survey,” Proceedings of the 4th International Conference on Ubiquitous Computing and Intelligent Information Systems, ICUIS 2024, pp. 365–371, 2024, doi: 10.1109/ICUIS64676.2024.10866377.
C.-Y. Lin, “ROUGE: A Package for Automatic Evaluation of Summaries,” 2004. Accessed: Oct. 25, 2025. [Online]. Available: https://aclanthology.org/W04-1013/
H. Rachmat, H. Riza, and T. F. Abidin, “Fine-Tuning Large Language Model (LLM) to Answer Basic Questions for Prospective New Students at Syiah Kuala University Using the Retrieval-Augmented Generation (RAG) Method,” 2024 9th International Conference on Informatics and Computing, ICIC 2024, 2024, doi: 10.1109/ICIC64337.2024.10956296.
K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu, “BLEU: a Method for Automatic Evaluation of Machine Translation."
J. Gohil, H. L. Shifare, and M. Shukla, “Developing a User-Friendly Conversational AI Assistant for University Using Ollama and LLama3,” 2025 International Conference on Data Science, Agents and Artificial Intelligence, ICDSAAI 2025, 2025, doi: 10.1109/ICDSAAI65575.2025.11011878.
AI@Meta, “Llama 3 Model Card,” 2024. [Online]. Available: https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
A. Sonkar, S. P. Singh, K. Sahu, A. Sahu, and S. Mishra, “Dynamic Query Handling with RAG Fusion for PDF-Based Knowledge Retrieval Systems,” 2025 4th OPJU International Technology Conference on Smart Computing for Innovation and Advancement in Industry 5.0, OTCON 2025, 2025, doi: 10.1109/OTCON65728.2025.11070378.
X. Xie, H. Liu, W. Hou, and H. Huang, “A Brief Survey of Vector Databases,” 2023 9th International Conference on Big Data and Information Analytics, BigDIA 2023 - Proceedings, pp. 364–371, 2023, doi: 10.1109/BIGDIA60676.2023.10429609.
S. Vakayil, D. Sujitha Juliet, J. Anitha, and S. Vakayil, “RAG-Based LLM Chatbot Using Llama-2,” ICDCS 2024 - 2024 7th International Conference on Devices, Circuits and Systems, pp. 195–199, 2024, doi: 10.1109/ICDCS59278.2024.10561020.
M. R. Putri, A. Y. Husodo, and B. Irmawati, “Simplification of Embedding Process in Retrieval Augmented Generation for Optimizing Question Answering Chatbot Model,” COMNETSAT 2024 - IEEE International Conference on Communication, Networks and Satellite, pp. 665–670, 2024, doi: 10.1109/COMNETSAT63286.2024.10862926.
U. Hasanah and B. P. Hartato, “Assessing Short Answers in Indonesian Using Semantic Text Similarity Method and Dynamic Corpus,” ICITEE 2020 - Proceedings of the 12th International Conference on Information Technology and Electrical Engineering, pp. 312–316, Oct. 2020, doi: 10.1109/ICITEE49829.2020.9271696.
N. Mardiana, R. D. Dana, Faisal, I. Farida, A. G. Azwar, and Nurwathi, “Similarity Measures Implementation on Face Authentication using Indonesian Citizen ID Card,” Proceeding of 2023 17th International Conference on Telecommunication Systems, Services, and Applications, TSSA 2023, 2023, doi: 10.1109/TSSA59948.2023.10366880.
G. Putro Dirgantoro, M. A. Soeleman, and C. Supriyanto, “Smoothing Weight Distance to Solve Euclidean Distance Measurement Problems in K-Nearest Neighbor Algorithm,” Proceedings - 2021 IEEE 5th International Conference on Information Technology, Information Systems and Electrical Engineering: Applying Data Science and Artificial Intelligence Technologies for Global Challenges During Pandemic Era, ICITISEE 2021, pp. 294–298, 2021, doi: 10.1109/ICITISEE53823.2021.9655820.
D. S. Sisodia, I. Nehapriyanka, and P. Amulya, “Longest common subsequence based multistage collaborative filtering for recommender systems,” Proceedings - 2020 21st International Arab Conference on Information Technology, ACIT 2020, Nov. 2020, doi: 10.1109/ACIT50332.2020.9300068.
P. Malik and A. S. Baghel, “An improvement in BLEU metric for English-Hindi machine translation evaluation,” Proceeding - IEEE International Conference on Computing, Communication and Automation, ICCCA 2016, pp. 331–336, Jan. 2017, doi: 10.1109/CCAA.2016.7813740.
J. Zhang, “Improving Genetic Algorithm-Based Automatic Machine Translation Models with Gated Recurrent Units and Bilingual Evaluation Understudy,” pp. 12–16, Sep. 2025, doi: 10.1109/ICICR65456.2025.00010.
Downloads
Submitted
Accepted
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Jurnal Nasional dan Sistem Informasi
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Hak cipta untuk artikel ini ditransfer ke Jurnal Nasional Teknologi dan Sistem Informasi (TEKNOSI) jika dan ketika artikel diterima untuk publikasi. Yang bertanda tangan di bawah ini dengan ini mentransfer setiap dan semua hak di dalam dan ke kertas termasuk tanpa batasan semua hak cipta untuk TEKNOSI. Yang bertanda tangan di bawah ini dengan ini menyatakan dan menjamin bahwa makalah tersebut asli dan bahwa ia adalah pembuat makalah, kecuali untuk bahan yang secara jelas diidentifikasi sebagai sumber aslinya, dengan pemberitahuan izin dari pemilik hak cipta jika diperlukan. Yang bertanda tangan di bawah ini menyatakan bahwa ia memiliki kekuatan dan wewenang untuk membuat dan melaksanakan penugasan ini.
Kami menyatakan bahwa:
- Makalah ini belum diterbitkan dalam bentuk yang sama di tempat lain.
- Makalah ini tidak akan dikirimkan di tempat lain untuk publikasi sebelum penerimaan/penolakan oleh Jurnal ini
- Izin hak cipta diperoleh untuk materi yang diterbitkan di tempat lain dan yang memerlukan izin ini untuk reproduksi.
Selanjutnya, Saya/kami dengan ini mentransfer hak publikasi yang tidak terbatas dari makalah yang disebutkan di atas secara keseluruhan kepada TEKNOSI. Transfer hak cipta mencakup hak untuk mereproduksi dan mendistribusikan artikel, termasuk cetak ulang, terjemahan, reproduksi foto, mikroform, bentuk elektronik (offline, online) atau reproduksi lain yang serupa.
Penulis yang sesuai menandatangani dan menerima tanggung jawab untuk merilis materi ini atas nama setiap dan semua penulis bersama. Perjanjian ini harus ditandatangani oleh setidaknya salah satu penulis yang telah memperoleh persetujuan dari rekan penulis jika berlaku. Setelah pengajuan perjanjian ini ditandatangani oleh penulis yang sesuai, perubahan kepengarangan atau dalam urutan penulis yang tercantum tidak akan diterima.
Hak / Syarat dan Ketentuan yang dipertahankan :
- Penulis memiliki semua hak kepemilikan dalam setiap proses, prosedur, atau artikel manufaktur yang dijelaskan dalam Karya ini.
- Penulis dapat mereproduksi atau mengotorisasi orang lain untuk mereproduksi karya ini atau karya turunannya untuk penggunaan pribadi penulis atau untuk penggunaan perusahaan, dengan ketentuan bahwa sumber dan menyatakan hak cipta dimiliki TEKNOSI, salinan tidak digunakan dengan cara apa pun yang menyiratkan pengesahan TEKNOSI atas suatu produk atau layanan dari pihak mana pun, dan salinannya sendiri tidak ditawarkan untuk dijual.
- Meskipun penulis diizinkan untuk menggunakan kembali semua atau sebagian dari karya ini dalam karya lain, ini tidak termasuk mengabulkan permintaan pihak ketiga untuk mencetak ulang, menerbitkan ulang, atau jenis penggunaan ulang lainnya.
This work is licensed under a 