這篇文章我將從感知機與神經(jīng)網(wǎng)絡(luò)的聯(lián)系與差異進行小結(jié)。
感知機是一個二分類器，能夠根據(jù)輸入的特征將數(shù)據(jù)劃分為兩個類別，其過程就是使用一個直線或超平面將兩類數(shù)據(jù)分開。它的基本結(jié)構(gòu)包括輸入、權(quán)重和激活函數(shù)。但是，感知機只能處理線性可分的問題。它依賴于一個全局最優(yōu)解，可能會陷入局部最優(yōu)解的困境。當我們處理復(fù)雜的分類問題時，需借助多層感知機。比如采用與電路，或、與非電路組合構(gòu)成異或電路。多層感知機由多個隱藏層構(gòu)成，每個隱藏層包含多個神經(jīng)元。而從多層感知機到神經(jīng)網(wǎng)絡(luò)，只需將激活函數(shù)從階躍函數(shù)修改為ReLU函數(shù)。相較于早期使用的sigmoid函數(shù)，ReLU函數(shù)更簡單，求導(dǎo)的復(fù)雜度更低，而且能緩解梯度消失的問題。
 
 
 
我們?yōu)槭裁匆�引進神經(jīng)網(wǎng)絡(luò)呢？即使是計算機進行的復(fù)雜處理，理論上感知機也可以將其表示出來，但是設(shè)定權(quán)重的工作需由人工進行。而神經(jīng)網(wǎng)絡(luò)可以自動地從數(shù)據(jù)中學習到合適的權(quán)重參數(shù)。常見的有兩種算法，前向傳播和反向傳播。前向傳播指從輸入層開始，通過每一層的加權(quán)和激活函數(shù)，將信號傳遞到下一層，每個神經(jīng)元會接收上一層的輸出，并根據(jù)權(quán)重和激活函數(shù)計算自己的輸出，這個過程一直持續(xù)到輸出層，產(chǎn)生最終的預(yù)測結(jié)果。反向傳播是一種訓練多層感知機的常用方法，通過計算預(yù)測結(jié)果與真實結(jié)果之間的誤差，然后沿著網(wǎng)絡(luò)反向調(diào)整權(quán)重，以最小化誤差。