Idealnya, jaringan saraf tidak boleh kekurangan atau kelebihan fitur dan mempertahankan kemampuan generalisasi yang baik. Untuk tujuan ini, kami menggunakan berbagai teknik regularisasi dalam jaringan saraf kami. Berikut ini adalah daftar beberapa teknik regularisasi yang umum digunakan untuk meningkatkan kinerja dan akurasi jaringan saraf dalam pembelajaran mendalam.
1. Regularisasi L1 dan L2
L1 dan L2 adalah jenis teknik regularisasi yang paling umum digunakan dalam pembelajaran mesin maupun dalam algoritma pembelajaran mendalam. Teknik ini memperbarui fungsi biaya umum dengan menambahkan istilah lain yang dikenal sebagai penalti regularisasi.
Untuk detail lebih lanjut, silakan kunjungi artikel saya ini.
2. Putus sekolah
Dropout dapat dilihat sebagai penonaktifan sementara atau pengabaian neuron di lapisan tersembunyi suatu jaringan. Secara probabilistik, meniadakan node dalam jaringan merupakan metode regularisasi yang sederhana dan efektif. Kita dapat mematikan beberapa neuron dalam suatu lapisan sehingga neuron tersebut tidak memberikan informasi atau mempelajari informasi apa pun dan tanggung jawab jatuh pada neuron aktif lainnya untuk belajar lebih giat dan mengurangi kesalahan.
Untuk informasi lebih lanjut tentang putus sekolah, silakan kunjungi postingan saya ini.
3. Augmentasi Data
Pembuatan data baru dengan melakukan modifikasi wajar terhadap data yang sudah ada disebut augmentasi data. Mari kita ambil contoh kumpulan data MNIST (angka yang ditulis tangan). Kita dapat dengan mudah menghasilkan ribuan gambar serupa baru dengan memutar, membalik, mengubah skala, menggeser, memperbesar dan memperkecil, memotong, mengubah, atau memvariasikan warna gambar yang sudah ada.
Kita dapat menggunakan teknik augmentasi data ketika model kita mengalami overfitting akibat data yang lebih sedikit.
Dalam banyak kasus dalam pembelajaran mendalam, menambah jumlah data bukanlah tugas yang sulit seperti yang telah kita bahas di atas pada kasus kumpulan data MNIST. Dalam pembelajaran mesin, tugas ini tidak semudah itu karena kita memerlukan data berlabel yang tidak mudah didapatkan.
4. Berhenti Dini
Saat melatih jaringan saraf, akan ada titik selama pelatihan ketika model akan berhenti melakukan generalisasi dan mulai mempelajari gangguan dalam set data pelatihan. Hal ini menyebabkan overfitting.
Salah satu pendekatan untuk memecahkan masalah ini adalah dengan memperlakukan jumlah periode pelatihan sebagai hiperparameter dan melatih model beberapa kali dengan nilai yang berbeda, lalu memilih jumlah periode yang menghasilkan kinerja terbaik.
Kelemahan pendekatan ini adalah memerlukan beberapa model untuk dilatih dan dibuang. Hal ini dapat menjadi tidak efisien secara komputasi dan memakan waktu.
Pendekatan lain adalah berhenti lebih awalModel dievaluasi pada dataset validasi setelah setiap periode. Jika kinerja model pada dataset validasi mulai menurun (misalnya kerugian mulai meningkat atau akurasi mulai menurun), maka proses pelatihan dihentikan. Model pada saat pelatihan dihentikan, kemudian digunakan dan diketahui memiliki kinerja generalisasi yang baik.
1. Regularisasi L1 dan L2
L1 dan L2 adalah jenis teknik regularisasi yang paling umum digunakan dalam pembelajaran mesin maupun dalam algoritma pembelajaran mendalam. Teknik ini memperbarui fungsi biaya umum dengan menambahkan istilah lain yang dikenal sebagai penalti regularisasi.
Untuk detail lebih lanjut, silakan kunjungi artikel saya ini.
2. Putus sekolah
Dropout dapat dilihat sebagai penonaktifan sementara atau pengabaian neuron di lapisan tersembunyi suatu jaringan. Secara probabilistik, meniadakan node dalam jaringan merupakan metode regularisasi yang sederhana dan efektif. Kita dapat mematikan beberapa neuron dalam suatu lapisan sehingga neuron tersebut tidak memberikan informasi atau mempelajari informasi apa pun dan tanggung jawab jatuh pada neuron aktif lainnya untuk belajar lebih giat dan mengurangi kesalahan.
Untuk informasi lebih lanjut tentang putus sekolah, silakan kunjungi postingan saya ini.
3. Augmentasi Data
Pembuatan data baru dengan melakukan modifikasi wajar terhadap data yang sudah ada disebut augmentasi data. Mari kita ambil contoh kumpulan data MNIST (angka yang ditulis tangan). Kita dapat dengan mudah menghasilkan ribuan gambar serupa baru dengan memutar, membalik, mengubah skala, menggeser, memperbesar dan memperkecil, memotong, mengubah, atau memvariasikan warna gambar yang sudah ada.
Kita dapat menggunakan teknik augmentasi data ketika model kita mengalami overfitting akibat data yang lebih sedikit.
Dalam banyak kasus dalam pembelajaran mendalam, menambah jumlah data bukanlah tugas yang sulit seperti yang telah kita bahas di atas pada kasus kumpulan data MNIST. Dalam pembelajaran mesin, tugas ini tidak semudah itu karena kita memerlukan data berlabel yang tidak mudah didapatkan.
4. Berhenti Dini
Saat melatih jaringan saraf, akan ada titik selama pelatihan ketika model akan berhenti melakukan generalisasi dan mulai mempelajari gangguan dalam set data pelatihan. Hal ini menyebabkan overfitting.
Salah satu pendekatan untuk memecahkan masalah ini adalah dengan memperlakukan jumlah periode pelatihan sebagai hiperparameter dan melatih model beberapa kali dengan nilai yang berbeda, lalu memilih jumlah periode yang menghasilkan kinerja terbaik.
Kelemahan pendekatan ini adalah memerlukan beberapa model untuk dilatih dan dibuang. Hal ini dapat menjadi tidak efisien secara komputasi dan memakan waktu.
Pendekatan lain adalah berhenti lebih awalModel dievaluasi pada dataset validasi setelah setiap periode. Jika kinerja model pada dataset validasi mulai menurun (misalnya kerugian mulai meningkat atau akurasi mulai menurun), maka proses pelatihan dihentikan. Model pada saat pelatihan dihentikan, kemudian digunakan dan diketahui memiliki kinerja generalisasi yang baik.
