Untuk memahaminya lebih baik, perhatikan diagram berikut.
Titik terendah pada diagram di atas disebut sebagai minimum global sementara titik-titik rendah lainnya disebut sebagai minimum lokalIdealnya SGD kita harus mencapai titik minimum global, tetapi terkadang SGD kita terjebak di titik minimum lokal dan menjadi sangat sulit mengetahui apakah SGD kita berada pada minimum global atau terjebak pada minimum lokal.
Bagaimana cara menghindari minimum lokal?
Minimum lokal merupakan masalah utama dengan penurunan gradien. Penyetelan hiperparameter memainkan peran penting dalam menghindari minimum lokal. Tidak ada solusi universal untuk masalah ini, tetapi ada beberapa metode yang dapat kita gunakan untuk menghindari minimum lokal.
1. Meningkatkan kecepatan belajar: Apabila laju pembelajaran algoritma terlalu kecil, maka kemungkinan besar SGD akan terjebak pada nilai minimum lokal.
2. Tambahkan beberapa noise saat memperbarui bobot: Menambahkan gangguan acak pada bobot juga terkadang membantu dalam menemukan nilai minimum global.
3. Tetapkan bobot acak: Pelatihan berulang dengan bobot awal acak merupakan salah satu metode populer untuk menghindari masalah ini, tetapi memerlukan waktu komputasi yang luas.
4. Gunakan sejumlah besar lapisan tersembunyi: Setiap simpul tersembunyi dalam satu lapisan dimulai dalam status awal acak yang berbeda. Hal ini memungkinkan setiap simpul tersembunyi untuk bertemu pada pola yang berbeda dalam jaringan. Dengan membuat parameter pada ukuran ini, pengguna jaringan saraf dapat mencoba ribuan (atau puluhan miliar) titik minimum lokal yang berbeda dalam satu jaringan saraf.
5. YANG PALING EFEKTIF: Menggunakan momentum dan pembelajaran adaptif berbasis SGD: Alih-alih menggunakan pengoptimal penurunan gradien konvensional, cobalah menggunakan pengoptimal seperti Adagrad, AdaDelta, RMSprop, dan Adam. Adam menggunakan momentum dan kecepatan pembelajaran adaptif untuk mencapai minimum global. Anda dapat mengetahui lebih detail tentang algoritma berbasis momentum dan pembelajaran adaptif di artikel ini.
Terkadang nilai minimum lokal sama baiknya dengan nilai minimum global
Biasanya, tidak selalu perlu untuk mencapai minimum global yang sebenarnya. Secara umum disepakati bahwa sebagian besar minimum lokal memiliki nilai yang mendekati minimum global.
Ada banyak makalah dan penelitian yang menunjukkan bahwa terkadang mencapai titik minimum global tidaklah mudah. Jadi, dalam kasus ini, jika kita berhasil menemukan titik minimum lokal optimal yang sama baiknya dengan titik minimum global, kita harus menggunakannya.
