perceptron Dibutuhkan input yang bisa berupa riil atau boolean, menetapkan nilai acak bobot ke input beserta prasangka, mengambil milik mereka jumlah tertimbang, melewatinya melalui fungsi ambang batas yang akan memutuskan apakah akan mengambil tindakan apa pun atau tidak tergantung pada beberapa nilai ambang batas, dan akhirnya melakukan klasifikasi biner linier. Fungsi ambang batas ini biasanya berupa fungsi langkah.
Representasi matematika dari perseptor tampak seperti kondisi if-else, jika jumlah tertimbang input lebih besar dari nilai ambang batas, output akan menjadi 1, jika tidak, output akan menjadi 0.
berat
Keakuratan suatu algoritma terutama bergantung pada penugasan bobot yang tepat. Itulah yang dilakukan Gradient Descent selama back-propagation.
Mari kita memahami berat dalam bahasa awam:
Pertimbangkan sebuah film. Apakah seseorang akan menonton film atau tidak tergantung pada berbagai faktor (fitur) seperti genre (komedi, horor, romansa, dll.), aktor, sutradara, dll. Sebagian orang akan lebih mementingkan genre dan kurang mementingkan aktor dan sutradara. Sebagian lagi akan lebih mementingkan aktor dalam film dan kurang mementingkan genre.
Pertimbangkan telepon seluler. Secara umum, hubungan antara harga telepon dan kemungkinan untuk membeli telepon berbanding terbalik (kecuali untuk beberapa penggemar berat). Bagi seseorang yang merupakan penggemar iPhone, ia akan lebih cenderung membeli versi telepon berikutnya terlepas dari harganya. Namun di sisi lain, konsumen biasa mungkin lebih mementingkan penawaran murah dari merek lain.
Intinya di sini adalah, semua masukan tidak memiliki kepentingan yang sama dalam pengambilan keputusan dan bobot untuk fitur-fitur ini bergantung pada data dan tugas yang sedang dihadapi.
Aplikasi Perseptron
Perseptron dapat digunakan untuk memecahkan masalah apa pun yang berisi kumpulan masukan yang dapat dipisahkan secara linier. Misalnya, wKita dapat mengimplementasikan gerbang logika seperti OR dan AND karena keduanya dapat dipisahkan secara linear.
Batasan Perceptron
perceptron hanya dapat mempelajari fungsi yang dapat dipisahkan secara linear. Ia tidak dapat menangani input non-linear. Misalnya, ia tidak dapat mengimplementasikan gerbang XOR karena tidak dapat diklasifikasikan dengan pemisah linear.
Jaringan syaraf
Untuk mengatasi keterbatasan Perceptron di atas, kita perlu menggunakan perceptron multi-lapisan, juga dikenal sebagai jaringan saraf umpan maju. Jaringan saraf adalah komposisi perceptron, terhubung dengan cara berbeda dan beroperasi pada fungsi aktivasi berbeda.
1. Semua lapisan (lapisan masukan, lapisan tersembunyi, dan lapisan keluaran) saling berhubungan.
2. Bobot ditambahkan ke setiap masukan dan kemudian bias ditambahkan ke setiap neuron lalu diteruskan ke fungsi aktivasi.
3. Pertama, propagasi maju jumlah tertimbang, hitung kesalahannya, propagasi mundur dan perbarui bobot menggunakan penurunan gradien dan terus lakukan hal yang sama hingga hasil yang memuaskan tercapai.
Jenis Jaringan Syaraf
1. Jaringan Syaraf Umpan Maju: Ini adalah jaringan saraf yang paling sederhana. Data hanya mengalir dalam arah maju dari lapisan masukan ke lapisan tersembunyi ke lapisan keluaran. Jaringan ini mungkin memiliki atau tidak memiliki lapisan tersembunyi. Paling banyak jaringan ini hanya berisi satu lapisan tersembunyi. Semua simpul terhubung sepenuhnya. Metode propagasi balik digunakan untuk melatih jaringan jenis ini.
2. Jaringan Syaraf Umpan Maju Dalam: Sama seperti Feed Forward Neural Network. Perbedaannya adalah, ia memiliki lebih banyak lapisan tersembunyi. Metode back propagation digunakan untuk melatih jaringan jenis ini.
3. Jaringan Syaraf Fungsi Basis Radial: Jaringan saraf RBF merupakan jenis jaringan saraf umpan maju yang menggunakan fungsi basis radial sebagai fungsi aktivasi, bukan fungsi logistik. Alih-alih hanya mengeluarkan 0 atau 1 (seperti dalam fungsi logistik), fungsi basis radial mempertimbangkan jarak suatu titik terhadap pusat.
4. CNN (Jaringan Syaraf Konvolusional)
5. Jaringan Saraf Kapsul
6. RNN (Jaringan Syaraf Tiruan Berulang)
7. LSTM (Jaringan Memori Jangka Panjang dan Pendek)
8. Autoencoder
Untuk mengetahui lebih banyak jenis jaringan saraf, silakan kunjungi ini artikel.
Lapisan Tersembunyi
Lapisan tersembunyi adalah tempat jaringan menyimpan representasi abstrak internalnya dari data pelatihan, mirip dengan cara otak manusia memiliki representasi internal dari dunia nyata.
Ekstraksi fitur terjadi pada lapisan tersembunyi. Kita dapat terus menambah jumlah lapisan tersembunyi untuk memperoleh akurasi yang lebih tinggi. Perlu dicatat juga bahwa menambah jumlah lapisan di atas titik tertentu dapat menyebabkan model menjadi overfit.
Perbandingan Jaringan Syaraf Dalam dan Dangkal
Jaringan saraf dangkal hanya memiliki satu lapisan tersembunyi sedangkan jaringan saraf dalam memiliki beberapa lapisan tersembunyi.
Keuntungan Jaringan Saraf Dalam
1. Jaringan saraf dalam lebih baik dalam mempelajari dan mengekstraksi fitur pada berbagai tingkat abstraksi dibandingkan dengan jaringan saraf dangkal.
2. Jaringan saraf dalam memiliki kemampuan generalisasi yang lebih baik.
Kekurangan Jaringan Saraf Dalam
1. Gradien yang Hilang: Saat kita menambahkan lebih banyak lapisan tersembunyi, back-propagation menjadi kurang dan kurang berguna dalam menyampaikan informasi ke lapisan yang lebih rendah. Saat informasi diteruskan kembali, gradien mulai menghilang dan menjadi kecil relatif terhadap bobot jaringan.
2. Keterlaluan: Saat kita terus menambahkan lebih banyak lapisan ke jaringan saraf, kemungkinan terjadinya overfitting meningkat. Jadi, kita harus mempertahankan jumlah lapisan tersembunyi yang wajar di jaringan saraf dalam.
3. CKompleksitas Komputasi: Seiring kita terus menambahkan lebih banyak lapisan ke jaringan saraf, kompleksitas komputasi meningkat. Jadi, sekali lagi, kita harus mempertahankan jumlah lapisan tersembunyi yang wajar di jaringan saraf dalam.
Fungsi Aktivasi
Fungsi aktivasi ('like' Sigmoid, Tangen Hiperbolik, Ambang Batas, ReLu) adalah apa yang membuat jaringan saraf beradaptasi tidak linier perilaku jika tidak mereka akan tetap linier. Untuk detail lebih lanjut tentang fungsi aktivasi, Anda dapat melihat postingan saya ini.
Pelatihan Perseptron menggunakan Back Propagation
Algoritma pembelajaran mendalam yang paling umum untuk pelatihan terbimbing dari multi-layer perceptrons dikenal sebagai back-propagation. Berikut ini adalah langkah-langkah dasar:
1. Sampel pelatihan disajikan dan disebarkan ke depan melalui jaringan.
2. Kesalahan keluaran dihitung, biasanya kesalahan kuadrat rata-rata atau kesalahan akar kuadrat rata-rata.
3. Bobot diperbarui menggunakan algoritma Gradient Descent.
4. Langkah-langkah di atas diulang terus menerus hingga diperoleh hasil atau akurasi yang memuaskan.
