Machine Learning 第一篇感知器

何爲感知器？

感知器（perceptron）是生物神經細胞的簡化模型，每個感知器都會有多個輸入和一個輸出；要注意的事情是，這裏的輸入與輸出，僅有 0 和 1 兩種值，分別代表沒有與有這兩種可能。

以上圖作爲例子，$x_1$ 與 $x_2$ 爲輸入訊號，$w_1$ 與 $w_2$ 代表權重，而 $y$ 則是輸出訊號。途中的圓圈即是感知器（神經元），或是被稱爲節點。

感知器的運作原理只有一個： $$y=0 \iff w_1x_1+w_2x_2\le\theta$$ $$y=1 \iff w_1x_1+w_2x_2>\theta$$ 其中 $\theta$ 是某個給定的臨界值，當超過臨界值的時候，這被稱爲神經元發火。

以下是 AND Gate 的對應表：我們是否能設計一組 $w_1, w_2, \theta$ 來使得我們的感知器可以模擬 AND Gate？

考慮 $(w_1,w_2, \theta) = (0.5, 0.5, 0.99)$，按照上述的定義，當 $x_1$ 與 $x_2$ 有一個爲 0 時，其值最高爲 $0.5 \le 0.99$，會輸出 $0$；而當兩者皆爲 $1$ 時，其值爲 $1 > 0.99$ 會輸出 $1$。

事實上，這有無線多種組合，你 $\theta \in (0.5, 1)$ 都可以。

以下是 XOR Gate 的對應表：

而單個感知器是無法做到模擬 XOR Gate 的。

用圖形來解釋：

感知器的 $y \le \theta$ 是個線型函數，而我們註定無法使用線型函數來隔開上圖的圓圈和三角形。

然而，雖然我們無法靠一層的感知器來實現 XOR Gate，但我們可以利用一些邏輯運算外加多層感知器，來實作出 XOR。

感知器是一個最簡單的神經網路單元，而多層感知器其實就是一個可以帶我們入門的神經網路範例。