Hasil Awal dari Pelatihan Tanpa Membebani Berat Badan

Melanjutkan postingan terakhir saya, berikut adalah pilihan output khas yang dihasilkan dari Perpustakaan Bayesopt minimalisasi

    3    3    2    2    2    8   99   22   30    1
    3    3    2    3    2   39    9   25   25    1
    2    2    3    2    2   60   43   83   54    3
    2    1    2    2    2    2    0   90   96   43
    3    2    3    2    2    2    2   43   33    1
    2    3    2    3    2    2    0   62   98   21
    2    2    2    2    2   18   43   49    2    2
    2    3    2    4    1    2    0   23    0    0
    2    2    1    2    3    2    0   24   63   65
    3    2    2    2    3    5   92   49    1    0
    2    3    2    1    1    7   84   22   17    1
    3    2    4    1    1   46    1    0   99    7
    2    2    3    2    2    2    0   74   82   50
    3    3    2    2    2   45   14   81   23    2
    2    3    3    2    2    2    0   99   79    4
    2    2    2    2    2    2    0    0   68    0
    3    3    3    2    2   67   17   37   84    1
    3    2    3    2    2   24   39   56   55    1
    3    3    4    3    2    2   30   62   67    1
    2    2    2    2    2    2    1    0    4    0
    2    2    2    2    2    2    9    8   45    1
    2    3    3    2    2   48    1   18   28    1
    2    3    3    2    2    2    0   34   42   18
    2    2    2    3    2    2    0   70   81   10
    2    2    3    3    2    2    0   85   23   11

di mana baris-barisnya merupakan hasil lari yang terpisah, lima kolom pertama menunjukkan jenis fungsi aktivasi per lapisan dan lima kolom terakhir menunjukkan jumlah neuron per lapisan (lihat kode fungsi di posting terakhir saya untuk detailnya.)

Beberapa hal yang dapat diambil dari sini adalah:

1. itu fungsi aktivasi sigmoid ( dibatasi 0 sampai 1 ) tidak disukai, dengan sigmoid Tanh atau “Lecun” ( lihat bagian 4.4 dari kertas ini ) lebih disukai
2. 40% arsitektur jaringan adalah lapisan tersembunyi tunggal dengan hanya 2 neuron di lapisan tersembunyi 
3. 8% hanya memiliki dua lapisan tersembunyi dengan lapisan tersembunyi kedua hanya memiliki satu neuron

Saya akan mengatakan hasil awal ini menunjukkan bahwa arsitektur yang mendalam tidak diperlukan untuk fitur/target yang diuji dan jelas fungsi sigmoid/logistik standar harus dihindari.

Seperti kebiasaan saya saat menunggu tes komputer yang panjang selesai, saya juga menjelajah online, termotivasi oleh hasil awal di atas, dan menemukan Jaringan Tautan Fungsional Vektor Acak, yang tampaknya merupakan pendahulu dari Mesin Pembelajaran Ekstrim. Namun, tampaknya ada beberapa kontroversi tentang apakah Mesin Pembelajaran Ekstrim hanyalah plagiarisme dari ide-ide sebelumnya, seperti jaringan RVFL. 

Pembaca mungkin ingat bahwa saya pernah menggunakan ELM sebelumnya dengan pustaka Bayesopt (lihat posting saya di sini ) dan sekarang hasil di atas mengarah pada penggunaan jaringan dangkal, saya bermaksud untuk mengulangi hal di atas, tetapi menggunakan jaringan RVFL. Ini akan menjadi pokok bahasan posting saya berikutnya.