神經(jīng)網(wǎng)絡(luò)(也稱人工神經(jīng)網(wǎng)絡(luò)，ANN)算法是80年代機(jī)器學(xué)習(xí)界非常流行的算法，不過在90年代中途衰落?，F(xiàn)在，攜著“深度學(xué)習(xí)”之勢，神經(jīng)網(wǎng)絡(luò)重裝歸來，重新成為最強(qiáng)大的機(jī)器學(xué)習(xí)算法之一。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，縮寫ANN），是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。其來源于生物，故吳老先先講述了生物神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，從而進(jìn)行引入。

神經(jīng)細(xì)胞通過軸突將信號傳遞給其他的神經(jīng)細(xì)胞，通過樹突向各個方向接受信號。

神經(jīng)細(xì)胞利用電-化學(xué)過程交換信號。輸入信號來自另一些神經(jīng)細(xì)胞。這些神經(jīng)細(xì)胞的軸突末梢（也就是終端）和本神經(jīng)細(xì)胞的樹突相遇形成突觸（synapse），信號就從樹突上的突觸進(jìn)入本細(xì)胞。

信號在大腦中實(shí)際怎樣傳輸是一個相當(dāng)復(fù)雜的過程，但就我們而言，重要的是把它看成和現(xiàn)代的計(jì)算機(jī)一樣，利用一系列的0和1來進(jìn)行操作。就是說，大腦的神經(jīng)細(xì)胞也只有兩種狀態(tài)：興奮（fire）和不興奮（即抑制）。

神經(jīng)細(xì)胞利用一種我們還不知道的方法，把所有從樹突突觸上進(jìn)來的信號進(jìn)行相加，如果全部信號的總和超過某個閥值，就會激發(fā)神經(jīng)細(xì)胞進(jìn)入興奮（fire）狀態(tài)，這時就會有一個電信號通過軸突發(fā)送出去給其他神經(jīng)細(xì)胞。如果信號總和沒有達(dá)到閥值，神經(jīng)細(xì)胞就不會興奮起來。這樣的解釋有點(diǎn)過分簡單化，但已能滿足我們的目的。

由于人腦具有一下幾個特點(diǎn)：

1.能實(shí)現(xiàn)無監(jiān)督的學(xué)習(xí)

大腦能夠自己進(jìn)行學(xué)習(xí)，而不需要導(dǎo)師的監(jiān)督教導(dǎo)。如果一個神經(jīng)細(xì)胞在一段時間內(nèi)受到高頻率的刺激，則它和輸入信號的神經(jīng)細(xì)胞之間的連接強(qiáng)度就會按某種過程改變，使得該神經(jīng)細(xì)胞下一次受到激勵時更容易興奮。

2.對損傷有冗余性(tolerance)

大腦即使有很大一部分受到了損傷, 它仍然能夠執(zhí)行復(fù)雜的工作。

3.處理信息的效率極高

神經(jīng)細(xì)胞之間電-化學(xué)信號的傳遞，與一臺數(shù)字計(jì)算機(jī)中CPU的數(shù)據(jù)傳輸相比，速度是非常慢的，但因神經(jīng)細(xì)胞采用了并行的工作方式，使得大腦能夠同時處理大量的數(shù)據(jù)。例如，大腦視覺皮層在處理通過我們的視網(wǎng)膜輸入的一幅圖象信號時，大約只要100ms的時間就能完成，眼睛并發(fā)執(zhí)行。

4.善于歸納推廣

大腦和數(shù)字計(jì)算機(jī)不同，它極擅長的事情之一就是模式識別，并能根據(jù)已熟悉信息進(jìn)行歸納推廣(generlize)。例如，我們能夠閱讀他人所寫的手稿上的文字，即使我們以前從來沒見過他所寫的東西。

5.它是有意識的

如下圖所示，它表示的是一個人工神經(jīng)細(xì)胞。其中：

輸入(Input)；權(quán)重(Weight)：左邊五個灰色圓底字母w代表浮點(diǎn)數(shù)；激勵函數(shù)(Activation Function)：大圓，所有經(jīng)過權(quán)重調(diào)整后的輸入加起來，形成單個的激勵值；輸出(Output)：神經(jīng)細(xì)胞的輸出。

進(jìn)入人工神經(jīng)細(xì)胞的每一個input(輸入)都與一個權(quán)重w相聯(lián)系，正是這些權(quán)重將決定神經(jīng)網(wǎng)絡(luò)的整體活躍性。假設(shè)權(quán)重為-1和1之間的一個隨機(jī)數(shù)，權(quán)重可正可負(fù)（激發(fā)和抑制作用）。當(dāng)輸入信號進(jìn)入神經(jīng)細(xì)胞時，它們的值將與它們對應(yīng)的權(quán)重相乘，作為圖中大圓的輸入。如果激勵值超過某個閥值（假設(shè)閥值為1.0），就會產(chǎn)生一個值為1的信號輸出；如果激勵值小于閥值1.0，則輸出一個0。這是人工神經(jīng)細(xì)胞激勵函數(shù)的一種最簡單的類型。涉及的數(shù)學(xué)知識如下圖所示：

如果最后計(jì)算的結(jié)果激勵值大于閾值1.0，則神經(jīng)細(xì)胞就輸出1；如果激勵值小于閾值則輸出0。這和一個生物神經(jīng)細(xì)胞的興奮狀態(tài)或抑制狀態(tài)是等價的。下面圖是通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)邏輯表達(dá)式與運(yùn)算：（參考NG斯坦福機(jī)器學(xué)習(xí)講義）

可以看到x1和x2變量作為神經(jīng)網(wǎng)絡(luò)的輸入，當(dāng)它們?nèi)〔煌?或1值時，其結(jié)果通過sigmod函數(shù)計(jì)算的值是不同的。它模擬了整個AND運(yùn)算。

該圖中神經(jīng)網(wǎng)絡(luò)共有三層 ( 注輸入層不是神經(jīng)細(xì)胞，神經(jīng)細(xì)胞只有兩層 )：

輸入層中的每個輸入都饋送到了隱藏層，作為該層每一個神經(jīng)細(xì)胞的輸入；然后，從隱藏層的每個神經(jīng)細(xì)胞的輸出都連到了它下一層（即輸出層）的每一個神經(jīng)細(xì)胞。

注意：

1.圖中僅僅畫了一個隱藏層，作為前饋網(wǎng)絡(luò)，一般地可以有任意多個隱藏層。但在對付你將處理的大多數(shù)問題時一層通常是足夠的。

2.事實(shí)上，有一些問題甚至根本不需要任何隱藏單元，你只要把那些輸入直接連結(jié)到輸出神經(jīng)細(xì)胞就行了。

3.每一層實(shí)際都可以有任何數(shù)目的神經(jīng)細(xì)胞，這完全取決于要解決的問題的復(fù)雜性。但神經(jīng)細(xì)胞數(shù)目愈多，網(wǎng)絡(luò)的工作速度也就愈低，網(wǎng)絡(luò)的規(guī)?？偸且蟊３直M可能的小。

神經(jīng)網(wǎng)絡(luò)體系創(chuàng)建成功后，它必須接受訓(xùn)練來認(rèn)出數(shù)字4，方法：

1.先把神經(jīng)網(wǎng)絡(luò)的所有權(quán)重初始化為任意值；

2.再給他一系列輸入代表面板不同配置的輸入，對每種輸入配置，檢查它的輸出是什么，并調(diào)整相應(yīng)權(quán)重；

3.如果我們送給網(wǎng)絡(luò)的輸入模式不是4，則我們知道網(wǎng)絡(luò)應(yīng)該輸出一個0。因此每個非4字符時，網(wǎng)絡(luò)權(quán)重應(yīng)進(jìn)行調(diào)整，使得它的輸出趨向于0；當(dāng)代表4的模式輸送給網(wǎng)絡(luò)時，則應(yīng)把權(quán)重調(diào)整到使其輸出趨向于1；

4.我們可以進(jìn)一步識別0到9的所有數(shù)字或字母，其本質(zhì)是手寫識別的工作原理。

5.最后，網(wǎng)絡(luò)不單能認(rèn)識已經(jīng)訓(xùn)練的筆跡，還顯示了它有顯著的歸納和推廣能力。

正是這種歸納推廣能力，使得神經(jīng)網(wǎng)絡(luò)已經(jīng)成為能夠用于無數(shù)應(yīng)用的一種無價的工具，從人臉識別、醫(yī)學(xué)診斷，直到跑馬賽的預(yù)測，另外還有電腦游戲中的bot（作為游戲角色的機(jī)器人）的導(dǎo)航，或者硬件的robot（真正的機(jī)器人）的導(dǎo)航。

上圖會演示神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域的一個著名應(yīng)用，這個程序叫做LeNet，是一個基于多個隱層構(gòu)建的神經(jīng)網(wǎng)絡(luò)。通過LeNet可以識別多種手寫數(shù)字，并且達(dá)到很高的識別精度與擁有較好的魯棒性。LeNet的發(fā)明人是機(jī)器學(xué)習(xí)的大牛Yann LeCun（目前google）。

右下方的方形中顯示的是輸入計(jì)算機(jī)的圖像，方形上方的紅色字樣“answer”后面顯示的是計(jì)算機(jī)的輸出。左邊的三條豎直的圖像列顯示的是神經(jīng)網(wǎng)絡(luò)中三個隱藏層的輸出，可以看出，隨著層次的不斷深入，越深的層次處理的細(xì)節(jié)越低，例如層3基本處理的都已經(jīng)是線的細(xì)節(jié)了。

這種類型的訓(xùn)練稱作有監(jiān)督的學(xué)習(xí)（supervised learnig），用來訓(xùn)練的數(shù)據(jù)稱為訓(xùn)練集（training set）。調(diào)整權(quán)重可以采用許多不同的方法。對本類問題最常用的方法就是反向傳播（backpropagation，簡稱backprop或BP）方法，即BP神經(jīng)網(wǎng)絡(luò)。

你自己可以去學(xué)習(xí)另外的一種訓(xùn)練方式，即根本不需要任何導(dǎo)師來監(jiān)督的訓(xùn)練，或稱無監(jiān)督學(xué)習(xí)（unsupervised learnig）。下圖是神經(jīng)網(wǎng)絡(luò)的簡單回顧與總結(jié)：

最后給大家看一個利用神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行分類的例子：過程就不詳細(xì)論述了，圖片很清晰，對人、汽車、摩托車、卡車進(jìn)行圖片識別，而具體的隱藏層函數(shù)需要大家去深入研究，我自己研究得也很淺顯，抱歉~

下面簡單講解"莫煩大神 "網(wǎng)易云課程的一個示例。假設(shè)存在千萬張圖片，現(xiàn)在需要通過神經(jīng)網(wǎng)絡(luò)識別出某一張圖片是狗還是貓，如下圖所示共包括輸入層、隱藏層（3層）和輸出層。

計(jì)算機(jī)通過訓(xùn)練或強(qiáng)化學(xué)習(xí)判斷貓，將獲取的特征轉(zhuǎn)換為數(shù)學(xué)的形式。首先得到一堆數(shù)字，通過判斷處理得到另一堆數(shù)據(jù)，最終判斷其是狗還是貓。比如第一次正確識別的只有10%，下面那只貓被識別成了狗，它會將識別錯誤的信息（與真實(shí)答案的差別）反向傳遞回神經(jīng)網(wǎng)絡(luò)，并修改神經(jīng)元權(quán)重，為下次更好地識別。

每一個神經(jīng)元都有一個激勵函數(shù)，被激勵的神經(jīng)元傳遞的信息最有價值，它也決定最后的輸出結(jié)果，經(jīng)過海量數(shù)據(jù)的訓(xùn)練，最終神經(jīng)網(wǎng)絡(luò)將可以用于識別貓或狗。

參考資料包括NG教授的課程講義和CSDN一位很厲害的女博主Rachel-Zhang：

Stanford機(jī)器學(xué)習(xí)---第五講. 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) Neural Networks learning

二. theano安裝及入門

1.基礎(chǔ)知識

Theano在深度學(xué)習(xí)框架中是祖師級的存在。它的開發(fā)始于2007，早期開發(fā)者包括傳奇人物Yoshua Bengio和Ian Goodfellow。Theano基于Python，是一個擅長處理多維數(shù)組的庫（這方面它類似于 NumPy）。當(dāng)與其他深度學(xué)習(xí)庫結(jié)合起來，它十分適合數(shù)據(jù)探索。它為執(zhí)行深度學(xué)習(xí)中大規(guī)模神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算所設(shè)計(jì)。其實(shí)，它可以被更好地理解為一個數(shù)學(xué)表達(dá)式的編譯器：用符號式語言定義你想要的結(jié)果，該框架會對你的程序進(jìn)行編譯，來高效運(yùn)行于GPU或CPU。

它與后來出現(xiàn)的Tensorflow功能十分相似（或者應(yīng)該說，Tensorflow 類似 Theano ），因而兩者常常被放在一起比較。它們本身都偏底層，同樣的，Theano 像是一個研究平臺多過是一個深度學(xué)習(xí)庫。你需要從底層開始做許多工作，來創(chuàng)建你需要的模型。比方說，Theano 沒有神經(jīng)網(wǎng)絡(luò)的分級。

下面開始講解Theano的安裝過程，主要調(diào)用 "pip install theano" 安裝，如下圖所示：

安裝成功之后，下面給出基礎(chǔ)性的代碼。這也是學(xué)習(xí)莫煩大神的云課程筆記，希望對您有所幫助。

2.存量變量使用

首先導(dǎo)入相關(guān)包，然后定義存量x和y，再進(jìn)行相加計(jì)算。由于theano需要用到cpu或gpu，所以其function定義比較特殊，核心代碼為f = function([x,y],z)。

#coding:utf-8import numpy as npimport theano.tensor as Tfrom theano import function #存量相加x = T.dscalar('x')y = T.dscalar('y')z = x + y #輸入[x,y]列表 輸出結(jié)果zf = function([x,y],z) #調(diào)用函數(shù) print(f(2,3)) #to pretty-print the function##查看z函數(shù)原型,輸出(x+y)from theano import ppprint(pp(z))

輸出結(jié)果如下所示：

5.0(x + y)

3.矩陣變量使用

定義兩個矩陣x和y，均為3行4列，其中x通過np.arange(12).reshape((3,4))代碼定義，為0-11數(shù)字；y通過10*np.ones((3,4))代碼定義，全部為10。

#coding:utf-8import numpy as npimport theano.tensor as Tfrom theano import function #定義矩陣 matrixx = T.dmatrix('x')y = T.dmatrix('y')z = x + y #矩陣的加法f = function([x,y],z) #3行4列矩陣 y全部為10 x從0-11print(u"輸入矩陣")print(np.arange(12).reshape((3,4)))print(10*np.ones((3,4)))print(u"輸出結(jié)果")print(f(np.arange(12).reshape((3,4)), 10*np.ones((3,4)) ))

計(jì)算結(jié)果如下圖所示：

如果需要實(shí)現(xiàn)乘法，則使用z = T.dot(x,y) 代碼實(shí)現(xiàn)。

三. theano函數(shù)

theano運(yùn)用CPU、GPU加速和并行計(jì)算，會自己定義function，下面詳細(xì)講解其函數(shù)功能。

1.激勵函數(shù)

神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元中都有激勵函數(shù)（activation function），這里我們定義邏輯回歸的激勵函數(shù)。

然后對一個2*2的矩陣進(jìn)行計(jì)算，代碼如下：

#coding:utf-8import numpy as npimport theano.tensor as Timport theanofrom theano import function #1.激勵函數(shù)#activation function examplex = T.dmatrix('x')#計(jì)算概率 logistic or soft steps = 1/(1+T.exp(-x)) #np.exp() 這里用的theano中的T.exp()#輸入x 輸出slogistic =theano.function([x],s)#兩行兩列矩陣print(logistic([[0,1],[2,3]]))#wikipedia: Activation function#輸入0 輸出s=1/(1+e0次方)=0.5輸出結(jié)果如下所示，比如當(dāng)數(shù)值為0時，其結(jié)果為s=1/(1+e的0次方)=0.5。[[0.5 0.73105858] [0.88079708 0.95257413]]

2.返回多個值

輸入為a和b變量，輸出為差值、差值絕對值、差值平法和。核心代碼如下：

f = theano.function([a,b],[diff,abs_diff,diff_squared])#coding:utf-8import numpy as npimport theano.tensor as Timport theanofrom theano import function #2.返回多個值或結(jié)果#multiply outputs for a functiona,b = T.dmatrices('a','b')#定義兩個的差的絕對值和平方diff = a - babs_diff = abs(diff) #差值絕對值diff_squared = diff*2 f = theano.function([a,b],[diff,abs_diff,diff_squared]) #[1,1,1,1] [0,1,2,3]x1,x2,x3 = f(np.ones((2,2)), np.arange(4).reshape((2,2)))print(x1)print(x2)print(x3)

輸出結(jié)果如下所示：

[[ 1. 0.] [-1. -2.]][[1. 0.] [1. 2.]][[ 2. 0.] [-2. -4.]]

3.函數(shù)賦初值

#coding:utf-8import numpy as npimport theano.tensor as Timport theanofrom theano import function #3.如何運(yùn)用function名字更加方便#name for a function#定義存量x,y,w = T.dscalars('x','y','w')z = (x+y)*w#定義默認(rèn)值和名字f = theano.function([x,theano.In(y,value=1), theano.In(w, value=2, name='weight')], z)print(f(23,2))#(23+2)*2=50print(f(23,2,weight=4))#(23+2)*4=100

輸出結(jié)果如下所示：

50.0100.0

————————————————

感謝大家的支持和喜歡，小編會每天分享更多Python學(xué)習(xí)的干貨知識給大家，所以大家別忘了關(guān)注小編哦。

更多Python爬蟲、數(shù)據(jù)分析、辦公自動化、全棧開發(fā)、人工智能學(xué)習(xí)資料可以私信@林夕編程關(guān)鍵字【資料】領(lǐng)取

版權(quán)聲明：本文為CSDN博主「Eastmount」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/Eastmount/article/details/80363106