Analisis Fungsi Aktivasi pada Algoritma Long Short Term Memory untuk Klasifikasi Teks

Abstract

Penelitian ini bertujuan untuk menganalisis pengaruh fungsi aktivasi pada model Long Short Term Memory LSTM dalam klasifikasi teks hukum. Long Short Term Memory (LSTM), yang digunakan untuk menangkap fitur lokal dan semantik dari teks. Studi ini menggunakan dua fungsi aktivasi utama, yaitu Sigmoid dan ReLU, untuk mengevaluasi kinerja model dalam mengklasifikasikan empat jenis perkara: Pidana, Perdata, PTUN, dan Agama. Dataset yang digunakan terdiri dari 400 kronologi perkara, yang diperoleh dari salah satu instansi hukum di Kota Medan. Data tersebut dibagi menjadi 80% untuk pelatihan dan 20% untuk pengujian. Proses pre-processing dilakukan untuk membersihkan dan menormalkan data teks, termasuk tokenisasi dan penghapusan kesalahan pengetikan. Hasil penelitian menunjukkan bahwa pemilihan fungsi aktivasi yang tepat sangat mempengaruhi akurasi model. Model dengan fungsi aktivasi ReLU menunjukkan kinerja terbaik dengan akurasi mencapai 83% pada beberapa kasus. Temuan ini memberikan kontribusi penting dalam pemahaman tentang peran fungsi aktivasi dalam model LSTM serta aplikasinya dalam klasifikasi teks hukum. Hasil ini juga memberikan landasan untuk pengembangan lebih lanjut dalam meningkatkan akurasi dan efisiensi model klasifikasi teks. This research aims to analyze the influence of the activation function on the Long Short Term Memory LSTM model in legal text classification. Long Short Term Memory (LSTM), which is used to capture local and semantic features of text. This study uses two main activation functions, namely Sigmoid and ReLU, to evaluate the model's performance in classifying four types of cases: Criminal, Civil, PTUN, and Religious. The dataset used consists of 400 case chronologies, obtained from one of the legal agencies in Medan City. The data is divided into 80% for training and 20% for testing. The pre-processing process is carried out to clean and normalize text data, including tokenization and removal of typing errors. The research results show that choosing the right activation function greatly influences model accuracy. The model with the ReLU activation function shows the best performance with accuracy reaching 83% in some cases. These findings provide an important contribution to the understanding of the role of activation functions in LSTM models as well as their application in legal text classification. These results also provide a foundation for further development in improving the accuracy and efficiency of text classification models.