Normalisasi batch (norma kelompok) adalah teknik untuk meningkatkan kinerja dan akurasi jaringan saraf. Sering kali, istilah normalisasi dan standarisasi digunakan secara bergantian. Untuk detail lebih lanjut tentang normalisasi dan standarisasi, Anda dapat mengunjungi artikel saya ini.
Normalisasi batch terjadi per batch, oleh karena itu disebut normalisasi batch. Kami menormalkan (rata-rata = 0, simpangan baku = 1) keluaran dari suatu lapisan sebelum menerapkan fungsi aktivasi, dan kemudian memasukkannya ke lapisan berikutnya dalam jaringan saraf. Jadi, alih-alih hanya menormalkan masukan ke jaringan, kami menormalkan masukan ke setiap lapisan tersembunyi dalam jaringan.
Keuntungan Normalisasi Batch
1. Menyelesaikan pergeseran kovariat internal: Dalam jaringan saraf, distribusi masukan setiap unit tersembunyi berubah setiap kali ada pembaruan parameter di lapisan sebelumnya. Ini disebut pergeseran kovariat internal. Hal ini membuat pelatihan menjadi lambat dan memerlukan laju pembelajaran yang sangat kecil serta inisialisasi parameter yang baik. Masalah ini dipecahkan dengan menormalkan masukan lapisan melalui batch mini.
2. Memecahkan masalah Gradien yang Hilang dan Meledak: Gradien yang tidak stabil seperti gradien yang menghilang dan gradien yang meledak merupakan masalah umum yang terjadi saat melatih jaringan saraf. Dengan menormalkan keluaran setiap lapisan, kita dapat mengatasi masalah ini secara signifikan.
3. Pelatihan menjadi lebih cepat: Dalam jaringan saraf tradisional, jika kita menggunakan tingkat pembelajaran yang lebih tinggi, kita mungkin menghadapi masalah gradien yang meledak. Selain itu, jika kita menggunakan tingkat pembelajaran yang lebih tinggi, ada kemungkinan jaringan tidak akan konvergen sama sekali dan terus berosilasi di sekitar titik minimum global. Karena itu, kita biasanya lebih memilih tingkat pembelajaran yang lebih rendah dalam jaringan saraf tradisional. Namun, dengan tingkat pembelajaran yang lebih rendah, saat jaringan semakin dalam, gradien akan semakin kecil selama propagasi balik, sehingga memerlukan lebih banyak iterasi yang meningkatkan periode pelatihan. Namun, jika kita menormalkan keluaran setiap lapisan, kita dapat dengan aman menggunakan tingkat pembelajaran yang lebih tinggi yang dapat mengurangi periode pelatihan secara drastis.
4. Memecahkan masalah ReLU yang sekarat: ReLU sering mati selama pelatihan jaringan saraf dalam dan banyak neuron berhenti berkontribusi. Namun, dengan normalisasi batch, kita dapat mengatur keluaran setiap lapisan tersembunyi, yang mencegah masalah ini di jaringan saraf dalam. Untuk detail lebih lanjut, tentang ReLU yang sekarat, Anda dapat merujuk artikel saya ini.
5. Memperkenalkan regularisasi: Normalisasi batch menyediakan semacam regularisasi pada jaringan saraf yang meningkatkan kemampuan generalisasi pada jaringan.
Normalisasi batch terjadi per batch, oleh karena itu disebut normalisasi batch. Kami menormalkan (rata-rata = 0, simpangan baku = 1) keluaran dari suatu lapisan sebelum menerapkan fungsi aktivasi, dan kemudian memasukkannya ke lapisan berikutnya dalam jaringan saraf. Jadi, alih-alih hanya menormalkan masukan ke jaringan, kami menormalkan masukan ke setiap lapisan tersembunyi dalam jaringan.
Keuntungan Normalisasi Batch
1. Menyelesaikan pergeseran kovariat internal: Dalam jaringan saraf, distribusi masukan setiap unit tersembunyi berubah setiap kali ada pembaruan parameter di lapisan sebelumnya. Ini disebut pergeseran kovariat internal. Hal ini membuat pelatihan menjadi lambat dan memerlukan laju pembelajaran yang sangat kecil serta inisialisasi parameter yang baik. Masalah ini dipecahkan dengan menormalkan masukan lapisan melalui batch mini.
2. Memecahkan masalah Gradien yang Hilang dan Meledak: Gradien yang tidak stabil seperti gradien yang menghilang dan gradien yang meledak merupakan masalah umum yang terjadi saat melatih jaringan saraf. Dengan menormalkan keluaran setiap lapisan, kita dapat mengatasi masalah ini secara signifikan.
3. Pelatihan menjadi lebih cepat: Dalam jaringan saraf tradisional, jika kita menggunakan tingkat pembelajaran yang lebih tinggi, kita mungkin menghadapi masalah gradien yang meledak. Selain itu, jika kita menggunakan tingkat pembelajaran yang lebih tinggi, ada kemungkinan jaringan tidak akan konvergen sama sekali dan terus berosilasi di sekitar titik minimum global. Karena itu, kita biasanya lebih memilih tingkat pembelajaran yang lebih rendah dalam jaringan saraf tradisional. Namun, dengan tingkat pembelajaran yang lebih rendah, saat jaringan semakin dalam, gradien akan semakin kecil selama propagasi balik, sehingga memerlukan lebih banyak iterasi yang meningkatkan periode pelatihan. Namun, jika kita menormalkan keluaran setiap lapisan, kita dapat dengan aman menggunakan tingkat pembelajaran yang lebih tinggi yang dapat mengurangi periode pelatihan secara drastis.
4. Memecahkan masalah ReLU yang sekarat: ReLU sering mati selama pelatihan jaringan saraf dalam dan banyak neuron berhenti berkontribusi. Namun, dengan normalisasi batch, kita dapat mengatur keluaran setiap lapisan tersembunyi, yang mencegah masalah ini di jaringan saraf dalam. Untuk detail lebih lanjut, tentang ReLU yang sekarat, Anda dapat merujuk artikel saya ini.
5. Memperkenalkan regularisasi: Normalisasi batch menyediakan semacam regularisasi pada jaringan saraf yang meningkatkan kemampuan generalisasi pada jaringan.
