Analisis Pengaruh Learning Rate dalam Menentukan Mean Square Error (Mse) pada Algoritma Long Short Term Memory (LSTM)

Abstract

Long Short Term Memory (LSTM) merupakan salah satu algoritma Machine Learning (ML) berbasis pendekatan Reccurent Neural Network (RNN). LSTM memiliki empat lapisan neuron yang biasa disebut gerbang untuk mengatur memori setiap neuron, sehingga dapat mendeteksi data mana yang perlu dan tidak perlu digunakan. Salah satu komponen penting yang digunakan LSTM untuk menentukan nilai Mean Square Error (MSE) adalah learning rate. Pada penelitian ini dataset yang digunakan adalah penggunaan aplikasi di Kominfo sebanyak 6196. Adapun atribut meliputi nama pengguna, aplikasi, tanggal akses, dan bandwidth yang digunakan (GB). Data dibagi menjadi data training sebesar 80% dan data testing sebesar 20%. Model dilatih untuk 150 epoch dengan batch size 32. Dalam penelitian ini, peneliti telah menguji pengaruh berbagai nilai learning rate terhadap performa model LSTM dalam menganalisis nilai yang paling efektif dalam memproses MSE pada model LSTM. Learning rate yang digunakan adalah 0.1, 0.01, dan 0.001. Hasilnya menunjukkan bahwa learning rate 0.001 memberikan performa terbaik dengan menunjukkan hasil yang cenderung stabil dengan fluktuasi yang minimal dan nilai MSE yang konsisten lebih rendah pada epoch 100 dan epoch 150. Learning rate 0.001 memberikan performa terbaik dengan menunjukkan hasil yang cenderung stabil dengan fluktuasi yang minimal dan nilai MSE yang konsisten lebih rendah pada epoch 115 yaitu MSE 0,083705828. Pemilihan learning rate yang tepat sangat penting untuk optimisasi model LSTM. Learning rate 0.001 menunjukkan hasil terbaik dalam konteks penelitian ini, sehingga dapat direkomendasikan untuk penelitian selanjutnya. Long Short Term Memory (LSTM) is a Machine Learning (ML) algorithm based on the Recurent Neural Network (RNN) approach. LSTM has four layers of neurons which are usually called gates to organize the memory of each neuron, so that it can detect which data needs and does not need to be used. One of the important components used by LSTM to determine the Mean Square Error (MSE) value is the learning rate. In this research, the dataset used is 6196 applications used in Kominfo. The attributes include user name, application, access date and bandwidth used (GB). The data is divided into 80% training data and 20% testing data. The model was trained for 150 epochs with a batch size of 32. In this study, researchers have tested the effect of various learning rate values ​​on the performance of the LSTM model in analyzing the most effective value in processing MSE in the LSTM model. The learning rates used are 0.1, 0.01, and 0.001. The results show that a learning rate of 0.001 provides the best performance by showing results that tend to be stable with minimal fluctuations and MSE values ​​that are consistently lower at epoch 100 and epoch 150. A learning rate of 0.001 provides the best performance by showing results that tend to be stable with minimal fluctuations and The MSE value is consistently lower at epoch 115, namely MSE 0.083705828. Choosing the right learning rate is very important for LSTM model optimization. A learning rate of 0.001 shows the best results in the context of this research, so it can be recommended for future researches.