Contoh: Mari kita ambil contoh kata sandi. Anda membuat akun di situs web, kata sandi Anda dienkripsi dan disimpan dalam basis data. Sekarang, ketika Anda mencoba masuk ke situs web tersebut, kata sandi terenkripsi Anda diambil, didekripsi, dan dicocokkan dengan kata sandi yang Anda berikan.
Komponen dari sebuah Penyandi otomatis
Autoencoder terdiri dari 4 bagian utama:
1. Penyandi: Ini adalah lapisan tempat model mempelajari cara mengurangi dimensi input dan mengompresi data input menjadi representasi yang dikodekan. Ini adalah bagian dari jaringan yang mengompresi input menjadi representasi ruang laten.
2. Hambatan / Kode: Lapisan ini berisi representasi data masukan yang dipadatkan. Ini adalah dimensi data masukan serendah mungkin. Lapisan ini menentukan aspek data mana yang relevan dan aspek mana yang dapat dibuang.
3. Dekoder: Ini adalah lapisan tempat model mempelajari cara merekonstruksi data dari representasi yang dikodekan agar sedekat mungkin dengan input asli. Gambar yang didekodekan adalah rekonstruksi yang hilang dari gambar asli.
4. Kerugian Rekonstruksi: Ini adalah metode yang mengukur seberapa baik kinerja dekoder dan seberapa dekat keluaran dengan masukan asli.
Properti Autoencoder
1. Tanpa pengawasan:Autoencoder dianggap sebagai teknik pembelajaran tanpa pengawasan karena tidak memerlukan label eksplisit untuk pelatihan.
2. Data Spesifik: Autoencoder hanya dapat mengompresi dan mendekompresi data yang mirip dengan data yang telah dilatih. Misalnya, autoencoder yang telah dilatih pada wajah manusia, tidak akan bekerja dengan baik pada gambar bangunan.
3. Kerugian: Output dari autoencoder tidak akan sama persis dengan inputnya, representasinya akan mendekati tetapi mengalami penurunan kualitas.
Bagaimana cara kerja Autoencoder?
Autoencoder mengkompres input menjadi representasi ruang laten dan kemudian merekonstruksi output dari representasi ini. Kami menghitung kerugian dengan membandingkan input dan output. Perbedaan antara input dan output ini disebut kerugian rekonstruksiTujuan utama autoencoder adalah meminimalkan kerugian rekonstruksi ini sehingga outputnya mirip dengan input. Untuk mengurangi kerugian rekonstruksi ini, kami melakukan backpropagation melalui jaringan dan memperbarui bobot menggunakan algoritma gradient descent.
Autoencoder harus memiliki kemampuan generalisasi:Sebagai aturan umum, autoencoder kita harus cukup sensitif untuk membuat ulang observasi asli tetapi tidak cukup sensitif terhadap data pelatihan sehingga model mempelajari generalisasi. Dengan kata lain, autoencoder harus memiliki beberapa kemampuan generalisasi. Terutama semua jenis autoencoder seperti belum lengkap, jarang, konvolusional dan mencela autoencoder menggunakan beberapa mekanisme untuk memiliki kemampuan generalisasi.
Bagaimana cara meningkatkan kemampuan generalisasi autoencoder?
1. Jaga lapisan kode tetap kecil sehingga kompresi data lebih banyak. Semakin besar kompresi data, semakin besar pula generalisasi.
2. Lmeniru jumlah node dalam lapisan tersembunyi jaringan (autoencoder yang kurang lengkap).
3. Gunakan regularisasi L1 dan L2 (sparse autoencoder)
4. Add noise acak ke input dan biarkan autoencoder memulihkan data asli bebas noise (denoising autoencoder)
Jenis-jenis Autoencoder
1. Autoencoder yang belum lengkap: Dalam autoencoder jenis ini, kami membatasi jumlah node yang ada di lapisan tersembunyi jaringan. Dengan cara ini, jumlah informasi yang dapat mengalir melalui jaringan juga dibatasi, sehingga model kami hanya mempelajari atribut terpenting dari data input.
Dengan membatasi jumlah simpul dalam lapisan tersembunyi, kita dapat memastikan bahwa model kita tidak mengingat data pelatihan dan memiliki beberapa kemampuan generalisasi.
Untuk regularisasi dan generalisasi, kami tidak menggunakan penalti regularisasi apa pun untuk melatih model kami, kami hanya membatasi jumlah simpul dalam lapisan tersembunyi.
2. Autoencoder jarang: Alih-alih membatasi jumlah simpul dalam lapisan tersembunyi seperti autoencoder yang kurang lengkap, kami memperkenalkan teknik regularisasi untuk meregulasi atau memberi penalti pada aktivasi, bukannya bobot dalam fungsi kerugian kami, sehingga hanya mengaktifkan sejumlah kecil neuron dalam lapisan tersembunyi tertentu.
Node individual dari model terlatih yang diaktifkan bergantung pada data, input yang berbeda akan menghasilkan aktivasi node yang berbeda melalui jaringan. Untuk regularisasi, kita dapat menggunakan regularisasi L1 atau teknik regularisasi divergensi KL.
3. Autoencoder penghilang derau: Pendekatan lain untuk mengembangkan model yang dapat digeneralisasi adalah dengan sedikit merusak data masukan (menambahkan beberapa gangguan acak) tetapi tetap mempertahankan data yang tidak rusak sebagai keluaran target kita. Dengan pendekatan ini, model kita tidak dapat sekadar mengembangkan pemetaan yang mengingat data pelatihan karena masukan dan keluaran target kita tidak lagi sama. Dengan cara ini, kita melatih autoencoder untuk merekonstruksi masukan dari versi yang rusak.
4. Autoencoder konvolusional: Menggunakan lapisan berbelit-belit untuk mengompres gambar dengan bantuan kernel (filter). Kemudian menggunakan pengumpulan maksimum untuk melakukan down-sample gambar lebih lanjut. Untuk memahami lebih lengkap tentang CNN, Anda dapat mengunjungi situs saya ini posting di CNN.
Penerapan Autoencoder
1. Pengurangan Kebisingan Sinyal: Denoising atau pengurangan noise adalah proses menghilangkan noise dari suatu sinyal. Sinyal dapat berupa gambar, audio, atau dokumen pindaian.
2. Pengurangan Dimensionalitas untuk Visualisasi: Semakin kecil dimensinya, semakin baik visualisasinya. Autoencoder mengungguli PCA dalam hal ini karena autoencoder bekerja sangat baik dengan data non-linier sedangkan PCA hanya ditujukan untuk data linier.
3. Deteksi anomali dan outlier: Autoencoder belajar untuk menggeneralisasi pola. Jadi, jika ada sesuatu yang tidak sesuai pola, ia dapat mendeteksinya dengan mudah. Untuk anomali, kerugian rekonstruksi sangat tinggi dibandingkan dengan data biasa.
4. Pewarnaan gambar: Ini juga digunakan untuk pewarnaan gambar.
Hiperparameter Autoencoder
1. Ukuran Kode: Ini menunjukkan jumlah node di lapisan tengah. Ukuran yang lebih kecil menghasilkan kompresi yang lebih besar.
2. Jumlah Lapisan: Autoencoder dapat dibuat sedalam yang kita inginkan. Kita dapat memiliki banyak lapisan baik pada encoder maupun decoder.
3. Jumlah node per lapisan: Jumlah simpul per lapisan berkurang pada setiap lapisan berikutnya dalam encoder dan bertambah kembali dalam decoder.
4. Fungsi Kerugian: Anda dapat mengatur fungsi kerugian apa pun seperti kesalahan kuadrat rata-rata, entropi silang biner, dsb. Jika nilai input berada dalam rentang 0 hingga 1, kami biasanya menggunakan entropi silang, jika tidak, kami dapat menggunakan kesalahan kuadrat rata-rata.
Fungsi Kerugian biasanya terdiri dari dua bagian:
1. Kerugian Rekonstruksi: mengukur seberapa besar perbedaan antara data asli dan data rekonstruksi.
2. Denda Regulasi: menambahkan beberapa penalti sehingga model mempelajari generalisasi.
Mesin Boltzmann Terbatas (RBM)
Mesin Boltzmann Terbatas adalah jaringan saraf dangkal dan dua lapis (masukan dan tersembunyi). Tidak ada lapisan keluaran seperti Autoencoder.
Node atau neuron saling terhubung di seluruh lapisan, tetapi tidak ada dua node dari lapisan yang sama yang terhubung. Karena keterbatasan ini, mesin ini disebut Mesin Boltzmann Terbatas, bukan Mesin Boltzmann sederhana.
Ini adalah algoritma pembelajaran mendalam yang probabilistik, tanpa pengawasan, dan generatif. Tujuan RBM adalah menemukan distribusi probabilitas gabungan yang memaksimalkan fungsi log-likelihood.
RBM digunakan untuk:
1. Pengurangan dimensi
2. Penyaringan kolaboratif untuk sistem rekomendasi
3. Pembelajaran fitur
4. Pemodelan topik
5. Membantu meningkatkan efisiensi pembelajaran yang diawasi
Untuk detail lebih lanjut tentang RBM, silakan kunjungi ini dan ini Artikel.
