RNN

「65頁PDF」讓 PM 全面理解深度學習

本文匯總了深度學習相關的重要知識點，通過長圖和 PDF 的方式呈現給大家，歡迎各位 PM 下載。

15年時Google曾經推出了支持82種語言的手寫輸入，並在去年升級為100種語言。但隨着機器學習的迅速發展，研究人員也在不斷重構着以往的方法為用戶帶來更快更準的體驗。

我們本文介紹一種「曲線救國」的方式，它並不直接改變權重的特徵值，而是將神經元參數化，通過生成線性自循環的路徑，取消了原本RNN中的權重參數W，這就是長短時記憶單元LSTM（long short-term memory）。

在上一節（如何理解RNN？（理論篇））的課程我們介紹了循環神經網絡的基本結構，同時這樣的循環結構也會給優化帶來一定的困難，本文主要介紹兩種較為簡單的方式來緩解RNN的優化問題

帶有循環結構的網絡都可以被叫做循環神經網絡（recurrent neural network），RNN可以非常有效的解決這個問題，從簡單的理論上來說，它可以處理任意長度的序列，並且不需要提前將N固定住，靈活性更高。