Analisis Performa Kombinasi Metode Ekstraksi Fitur Dan Model Klasifikasi Pada Analisis Sentimen Aplikasi JMO

• LUTHFIYANTI INDAH SAPUTRI

---

ABSTRAK

ABSTRAK

Luthfiyanti Indah Saputri (12210408), Analisis Performa Kombinasi Metode Ekstraksi Fitur Dan Model Klasifikasi Pada Analisis Sentimen Aplikasi JMO

Perkembangan transformasi digital telah mendorong lonjakan data teks, termasuk ulasan aplikasi yang menjadi sumber penting untuk memahami sentimen pengguna. Aplikasi JMO (Jamsostek Mobile) dari BPJS Ketenagakerjaan menjadi objek penelitian yang relevan karena ulasannya dapat mencerminkan kualitas layanan. Namun masih terdapat keterbatasan dalam pemilihan dan perbandingan metode representasi teks serta efektivitas algoritma klasifikasi untuk analisis sentimen ulasan aplikasi layanan publik berbahasa Indonesia. Penelitian ini bertujuan menganalisis dan mengevaluasi akurasi kombinasi metode dengan membandingkan performa kombinasi metode ekstraksi fitur TF-IDF (Term Frequency-Inverse Document Frequency) dan BoW (Bag of Words) dengan algoritma Support Vector Machine dan Naïve Bayes untuk menentukan kombinasi metode terbaik untuk sentimen ulasan pengguna aplikasi JMO. Metode penelitian menggunakan pendekatan kualitatif eksperimental dengan data sebanyak 1500 ulasan pengguna JMO dari Goggle Play Store yang dianalisis melalui tahapan pra-pemrosesan dan pelabelan sentimen. Kemudian direpresentasikan menggunakan TF-IDF dan BoW, serta diklasifikasikan menggunakan SVM dan Naïve Bayes. Hasil penelitian menunjukkan bahwa kombinasi Naïve Bayes dengan TF-IDF memberikan performa terbaik pada dataset seimbang dengan akurasi 86,47% dan macro F1-Score 86%. TF-IDF secara konsisten menghasilkan bobot kata yang lebih informatif dibandingkan BoW. Naïve Bayes terbukti lebih stabil dan akurat dibandingkan SVM khususnya pada dataset seimbang. Sebaliknya kombinasi SVM dengan BoW menunjukkan performa terendah dengan akurasi 81,64%. Temuan ini menegaskan pentingnya pemilihan metode ekstraksi fitur dan algoritma klasifikasi yang tepat untuk meningkatkan akurasi analisis sentimen pada teks berbahasa Indonesia.

Kata Kunci: Analisis Sentimen, TF-IDF, BoW, Support Vector Machine, Naive Bayes

KATA KUNCI

Analisis Sentimen,TF-IDF,BoW,Support Vector Machine,Naive Bayes

---

DAFTAR PUSTAKA

DAFTAR PUSTAKA

[1]      Simon Kemp, “Digital 2025: Global Overview Report,” DATAREPORTAL. Accessed: Apr. 13, 2025. [Online]. Available: https://datareportal.com/reports/digital-2025-global-overview-report?utm_source=DataReportal&utm_medium=Country_Article_Hyperlink&utm_campaign=Digital_2025&utm_term=Indonesia&utm_content=Global_Promo_Block

[2]      Ani Petrosyan, “Number of internet and social media users worldwide as of February 2025,” Statista. Accessed: Apr. 30, 2025. [Online]. Available: https://www.statista.com/statistics/617136/digital-population-worldwide/

[3]      Thomas Coughlin, “175 Zettabytes By 2025,” Covering Digital Storage Technology & Market. Accessed: Apr. 16, 2025. [Online]. Available: https://www.forbes.com/sites/tomcoughlin/2018/11/27/175-zettabytes-by-2025/

[4]      A. Sagita, A. Faqih, G. Dwilestari, B. Siswoyo, and D. Pratama, “PENERAPAN METODE RANDOM FOREST DALAM MENGANALISIS SENTIMEN PENGGUNA APLIKASI CAPCUT DI GOOGLE PLAY STORE,” 2023.

[5]      I. Abdurrohim and A. Rahman, “PENERAPAN NATURAL LANGUAGE PROCESSING UNTUK ANALISIS SENTIMEN TERHADAP KEBIJAKAN PEMERINTAH”.

[6]      N. A. Azizah and T. Ernawati, “ANALISIS SENTIMEN ULASAN PELANGGAN TERHADAP PRODUK ROTI MACAN ARTISAN DI E-COMMERCE TOKOPEDIA MENGGUNAKAN METODE CLUSTERING,” Journal of Information System, Applied, Management, Accounting and Research, vol. 8, no. 3, p. 580, Aug. 2024, doi: 10.52362/jisamar.v8i3.1576.

[7]      R. Puspitasari and A. Dwi Indriyanti, “ANALISIS SENTIMEN OPINI PUBLIK TERHADAP KEBIJAKAN BARU SKRIPSI PADA MEDIA SOSIAL TWITTER MENGGUNAKAN METODE NAÏVE BAYES,” 2024.

[8]      P. G. Laksamana, W. Prihartono, and . F., “IMPLEMENTASI NAÏVE BAYES UNTUK MENGANALISIS SENTIMEN TERHADAP PERILAKU PENGGUNA DAN KUALITAS LAYANAN DIGITAL RADIO,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 13, no. 1, Jan. 2025, doi: 10.23960/jitet.v13i1.5847.

[9]      M. Farkhan, D. Samudera, and V. I. Pertiwi, “INOVASI PELAYANAN PUBLIK MELALUI JAMSOSTEK MOBILE (JMO) (STUDI KASUS DI BPJS KETENAGAKERJAAN CABANG RUNGKUT KOTA SURABAYA)”.

[10]    pantura.suaramerdeka.com, “Pengguna Aktif Aplikasi JMO Tumbuh 10,2 Persen,” BPJS Ketenagakerjaan. Accessed: Apr. 13, 2025. [Online]. Available: https://www.bpjsketenagakerjaan.go.id/berita/28940/Pengguna-Aktif-Aplikasi-JMO-Tumbuh-10,2-Persen#:~:text=PEKALONGAN%2C%20suaramerdeka%2Dpantura.com,2024%20sebanyak%2022%2C8%20juta.

[11]    V. Fitriyana et al., “Analisis Sentimen Ulasan Aplikasi Jamsostek Mobile Menggunakan Metode Support Vector Machine,” 2023.

[12]    A. Dwiyoga Widiantoro Mustafid Ridwan Sanjaya, PENGANTAR NLP DAN TOPIK MODEL LDA SAMPUL DALAM. 2024.

[13]    M. I. Fikri, T. S. Sabrila, Y. Azhar, and U. M. Malang, “Perbandingan Metode Naïve Bayes dan Support Vector Machine pada Analisis Sentimen Twitter,” vol. Vol 10 No 02 (2020), Dec. 2020, doi: https://doi.org/10.32664/smatika.v10i02.455.

[14]    K. Tri Putra, M. Amin Hariyadi, and C. Crysdian, “PERBANDINGAN FEATURE EXTRACTION TF-IDF DAN BOW UNTUK ANALISIS SENTIMEN BERBASIS SVM,” Nov. 2023.

[15]    A. Afda, “Analisa Dokumen Menggunakan Metode TF-IDF,” vol. Vol. 5, No. 5, Mar. 2024, doi: https://doi.org/10.31933/jemsi.v5i5.

[16]    R. Ferdinand, P. Pratama, and W. Maharani, “Edumatic: Jurnal Pendidikan Informatika Comparative Analysis of Naive Bayes and SVM for Improved Emotion Classification on Social Media,” vol. 9, no. 1, pp. 11–20, 2025, doi: 10.29408/edumatic.v9i1.29087.

[17]    N. A. Maulana and D. Darwis, “Perbandingan Metode SVM dan Naïve Bayes untuk Analisis Sentimen pada Twitter tentang Obesitas di Kalangan Gen Z,” Jurnal Pendidikan dan Teknologi Indonesia, vol. 5, no. 3, pp. 655–666, Mar. 2025, doi: 10.52436/1.jpti.691.

[18]    B. Liu, Sentiment Analysis and Opinion Mining. in Synthesis Lectures on Human Language Technologies. Springer International Publishing, 2022. [Online]. Available: https://books.google.co.id/books?id=xYhyEAAAQBAJ

[19]    F. A. Pozzi, E. Fersini, E. Messina, and B. Liu, Sentiment Analysis in Social Networks. Morgan Kaufmann, 2016. [Online]. Available: https://books.google.co.id/books?id=aS2lCgAAQBAJ

[20]    B. Liu, Sentiment Analysis: Mining Opinions, Sentiments, and Emotions. in Studies in Natural Language Processing. Cambridge University Press, 2020. [Online]. Available: https://books.google.co.id/books?id=PdX7DwAAQBAJ

[21]    1974 I Ketut Agung Enriko, Erika Lety Istikhomah Puspita Sari, 1979 Melinda, Petrus Kerowe Goran, and Al Yafi 1999, Kecerdasan buatan?: lingkup dasar, metode dan aplikasinya, Cetakan 1. Banyumas: Banyumas?: Wawasan Ilmu, 2023, 2023.

[22]    A. Konsep, I. Penulis, C. Raras, A. Widiawati, and A. Mu’amar Wahid, PEMROSESAN BAHASA ALAMI Konsep, Algoritma & Implementasi, 1st ed. Zahira Media Publisher, 2025.

[23]    C. K. Mai, A. B. Reddy, and K. S. Raju, Machine Learning Technologies and Applications: Proceedings of ICACECS 2020. in Algorithms for Intelligent Systems. Springer Nature Singapore, 2021. [Online]. Available: https://books.google.co.id/books?id=s6QjEAAAQBAJ

[24]    I. R. Hendrawan and E. Utami, Natural Language Processing: Eksplorasi Sentimen Masyarakat dalam Evaluasi Produk Lokal Indonesia menggunakan Algoritma Bag of Words, TF-IDF, Word2Vec, dan Doc2Vec. Penerbit Andi, 2023. [Online]. Available: https://books.google.co.id/books?id=caPgEAAAQBAJ

[25]    M. S. Amrullah, S. F. Pane, and M. N. Fauzan, Analisis Sentimen Masyarakat Terhadap Kebijakan Polisi Tilang Manual Di Indonesia. Penerbit Buku Pedia, 2023. [Online]. Available: https://books.google.co.id/books?id=_Uq5EAAAQBAJ

[26]    S. Vajjala, B. Majumder, A. Gupta, and H. Surana, Practical Natural Language Processing: A Comprehensive Guide to Building Real-World NLP Systems. O’Reilly Media, 2020. [Online]. Available: https://books.google.co.id/books?id=hPrrDwAAQBAJ

[27]    W. Budiharto, Machine Learning & Computational Intelligence, Ed. 1. Yogyakarta: ANDI, 2016, 2016.

[28]    Setia Pramana, 1980 Budi Yuniarto, 1988 Siti Mariyah, 1986 Ibnu Santoso, and Rani Nooraeni, Data Mining dengan R Konsep Setara Implementasi, Cetakan Pertama. Bogor: IN MEDIA, 2018.

[29]    S. J. Hari Suparwito et al., Pengantar Pembelajaran Mesin Menggunakan Bahasa Pemrograman Python. Sanata Dharma University Press, 2023. [Online]. Available: https://books.google.co.id/books?id=pVzgEAAAQBAJ

[30]    D. Sugiarto, E. Utami, and A. Yaqin, “Perbandingan Kinerja Model TF-IDF dan BOW untuk Klasifikasi Opini Publik Tentang Kebijakan BLT Minyak Goreng,” no. Vol. 12 No. 3 (2022), Dec. 2022, doi: https://doi.org/10.25105/jti.v12i3.15669.

[31]    M. Hadwan, M. Al-Sarem, F. Saeed, and M. A. Al-Hagery, “An Improved Sentiment Classification Approach for Measuring User Satisfaction toward Governmental Services’ Mobile Apps Using Machine Learning Methods with Feature Engineering and SMOTE Technique,” Applied Sciences (Switzerland), vol. 12, no. 11, Jun. 2022, doi: 10.3390/app12115547.

[32]    I. Rifky Hendrawan, E. Utami, and A. D. Hartanto, “Analisis Perbandingan Metode Tf-Idf dan Word2vec pada Klasifikasi Teks Sentimen Masyarakat Terhadap Produk Lokal di Indonesia,” Jul. 2022. doi: https://doi.org/10.30591/smartcomp.v11i3.3902.

[33]    Z. Nassr, F. Benabbou, N. Sael, and T. Hamim, “Improving Sentiment Analysis Performance on Imbalanced Moroccan Dialect Datasets Using Resample and Feature Extraction Techniques,” Information (Switzerland), vol. 16, no. 1, Jan. 2025, doi: 10.3390/info16010039.

[34]    Z. A. Mukharyahya, Y. P. Astuti, and O. N. Cahyani, “Perbandingan Naive Bayes dan Support Vector Machine dalam Klasifikasi Tingkat Kemiskinan di Indonesia,” Edumatic: Jurnal Pendidikan Informatika, vol. 9, no. 1, pp. 119–128, Apr. 2025, doi: 10.29408/edumatic.v9i1.29512.

[35]    E. Septiani, T. M. Akhriza, and M. Husni, “Comparison of the Accuracy Between Naive Bayes Classifier and Support Vector Machine Algorithms for Sentiment Analysis in Mobile JKN Application Reviews,” Transactions on Informatics and Data Science, vol. 1, no. 1, pp. 21–32, Apr. 2024, doi: 10.24090/tids.v1i1.12232.

[36]    L. B. Ilmawan and M. A. Mude, “Perbandingan Metode Klasifikasi Support Vector Machine dan Naïve Bayes untuk Analisis Sentimen pada Ulasan Tekstual di Google Play Store,” ILKOM Jurnal Ilmiah, vol. 12, no. 2, pp. 154–161, Aug. 2020, doi: 10.33096/ilkom.v12i2.597.154-161.

[37]    I. Rifky Hendrawan, “‘Jurnal TRANSFORMASI (Informasi & Pengembangan Iptek)’ (STMIK BINA PATRIA) PERBANDINGAN ALGORITMA NAÏVE BAYES, SVM DAN XGBOOST DALAM KLASIFIKASI TEKS SENTIMEN MASYARAKAT TERHADAP PRODUK LOKAL DI INDONESIA,” 2022.

[38]    N. Atia Nevrada and M. A. Syaputra, “Sentiment Analysis of Telegram App Reviews on Google Play Store Using the Support Vector Machine (SVM) Algorithm,” 2025. [Online]. Available: http://jurnal.polibatam.ac.id/index.php/JAIC

[39]    I. Aida Sapitri, M. Fikry, F. Sains dan Teknologi, and U. Islam Negeri Sultan Syarif Kasim Riau, “PENGKLASIFIKASIAN SENTIMEN ULASAN APLIKASI WHATSAPP PADA GOOGLE PLAY STORE MENGGUNAKAN SUPPORT VECTOR MACHINE,” Jurnal TEKINKOM, vol. 6, no. 1, 2023, doi: 10.37600/tekinkom.v6i1.773.

[40]    P. Apria Ananda Anam, D. Abdul Fatah, and M. Ali Syakur, “ANALISIS SENTIMEN REVIEW APLIKASI ZALORA DI GOOGLE PLAYSTORE MENGGUNAKAN METODE SUPPORT VECTOR MACHINE,” 2025.

[41]    A. I. Tanggraeni and M. N. N. Sitokdana, “Analisis Sentimen Aplikasi E-Government Pada Google Play Menggunakan Algoritma Naïve Bayes,” vol. 9, no. 2, pp. 785–795, 2022.

[42]    A. R. Putra and D. E. Ratnawati, “Analisis Sentimen Berbasis Aspek pada Aplikasi Mobile Menggunakan Naïve Bayes berdasarkan Ulasan Pengguna Playstore (Studi Kasus?: Jconnect Mobile),” Jurnal Teknologi Informasi dan Ilmu Komputer, vol. 12, no. 2, pp. 293–300, Apr. 2025, doi: 10.25126/jtiik.2025127556.