Multi-layer ANN - Backpropagation (BP)

Kenapa namanya Backpropagation?
Karena dalam proses pembelajaran, dihitung total weight dari input layer ke hidden layer, kemudian total weight dari hidden layer ke output layer, setelah didapat besarnya error (perbedaan nilai output yang didapat dengan output yang diinginkan) di output layer, maka kita BACK (kembali) lagi ke hidden layer untuk menghitung besarnya error di hidden layer, dan dengan menggunakan informasi besarnya error yang ada, kita mengubah nilai weight-nya.

Keunggulan:
① Seperti keunggulan pada multi-layer neural network (NN) lainnya, BP bisa memecahkan masalah yang tidak bisa dipecahkan oleh single-layer NN, seperti problem XOR.
② Memperhitungkan error rate yang terjadi di hidden layer ketika meng-update weight, sehingga proses learningnya lebih efisien. (Berbeda dengan multi-layer NN lainnya yang tidak memperhitungkan error rate di hidden layer)
③ Dengan menggunakan metode Momentum BP atau Adaptive BP, kadar pembelajaran(learning rate)nya bisa diatur sehingga tidak statik. Dengan begitu proses pembelajaran menjadi lebih efisien serta waktunya menjadi lebih singkat.

Kelemahan:
① Seperti kelemahan pada multi-layer NN lainnya, kita tidak bisa menjamin jumlah hidden layer dan jumlah neuron pada setiap hidden layer yang paling efektif untuk setiap proses pembelajaran.
② Prosesnya lama dibandingkan multi-layer NN sebelumnya, misalnya MAdaline, karena harus menghitung error rate dihidden layer juga.
③ Jika ada input pattern baru (yang belum ada sebelumnya), proses pembelajaran harus diulang lagi dari awal. (Hal ini yang menjadi awal lahirnya NN baru sesudahnya, misalnya ART, dimana input pattern yang baru bisa dimasukkan tanpa harus mengulang proses pembelajaran pattern-pattern yang sudah ada sebelumnya).
④ Problem optimisasi. Karena weight awalnya diseting random, maka bisa saja proses pembelajaran terhenti di lokal minima (local minima). Kita tidak bisa memberi garansi bahwa hasil yang didapat adalah hasil yang paling maksimal.