神經網路推廣

A. 神經網路優缺點，

優點：

（1）具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。

自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

（2）具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

（3）具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

缺點：

（1）最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。

（2）不能向用戶提出必要的詢問，而且當數據不充分的時候，神經網路就無法進行工作。

（3）把一切問題的特徵都變為數字，把一切推理都變為數值計算，其結果勢必是丟失信息。

（4）理論和學習演算法還有待於進一步完善和提高。

(1)神經網路推廣擴展閱讀：

神經網路發展趨勢

人工神經網路特有的非線性適應性信息處理能力，克服了傳統人工智慧方法對於直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。

人工神經網路與其它傳統方法相結合，將推動人工智慧和信息處理技術不斷發展。近年來，人工神經網路正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳演算法、進化機制等結合，形成計算智能，成為人工智慧的一個重要方向，將在實際應用中得到發展。

將信息幾何應用於人工神經網路的研究，為人工神經網路的理論研究開辟了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網路的發展提供了良好條件。

神經網路在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、並行處理、自學習、自組織以及非線性映射等優點的神經網路與其他技術的結合以及由此而來的混合方法和混合系統，已經成為一大研究熱點。

由於其他方法也有它們各自的優點，所以將神經網路與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經網路與模糊邏輯、專家系統、遺傳演算法、小波分析、混沌、粗集理論、分形理論、證據理論和灰色系統等的融合。

參考資料：網路-人工神經網路

B. 什麼是「小波神經網路」能幹什麼用呀

小波神經網路（Wavelet Neural Network， WNN）是在小波分析研究獲得突破的基礎上提出的一種人工神經網路。它是基於小波分析理論以及小波變換所構造的一種分層的、多解析度的新型人工神經網路模型。

 即用非線性小波基取代了通常的非線性Sigmoid 函數，其信號表述是通過將所選取的小波基進行線性疊加來表現的。它避免了BP 神經網路結構設計的盲目性和局部最優等非線性優化問題，大大簡化了訓練，具有較強的函數學習能力和推廣能力及廣闊的應用前景。

「小波神經網路」的應用：

1、在影像處理方面，可以用於影像壓縮、分類、識別與診斷，去污等。在醫學成像方面的減少B超、CT、核磁共振成像的時間，提高解析度等。

2、在信號分析中的應用也十分廣泛。它可以用於邊界的處理與濾波、時頻分析、信噪分離與提取弱信號、求分形指數、信號的識別與診斷以及多尺度邊緣偵測等。

3、在工程技術等方面的應用。包括電腦視覺、電腦圖形學、曲線設計、湍流、遠端宇宙的研究與生物醫學方面。

(2)神經網路推廣擴展閱讀：

小波神經網路這方面的早期工作大約開始於1992 年，主要研究者是Zhang Q、Harold H S 和焦李成等。其中，焦李成在其代表作《神經網路的應用與實現》中從理論上對小波神經網路進行了較為詳細的論述。近年來，人們在小波神經網路的理論和應用方面都開展了不少研究工作。

小波神經網路具有以下特點：首先，小波基元及整個網路結構的確定有可靠的理論根據，可避免BP 神經網路等結構設計上的盲目性；其次，網路權系數線性分布和學習目標函數的凸性，使網路訓練過程從根本上避免了局部最優等非線性優化問題；第三，有較強的函數學習能力和推廣能力。

C. 神經網路為什麼要用sigmoid函數為什麼要映射到0-1之間求解釋

（1）對於深度神經網路，中間的隱層的輸出必須有一個激活函數。否則多個隱層的作用和沒有隱層相同。這個激活函數不一定是sigmoid，常見的有sigmoid、tanh、relu等。
（2）對於二分類問題，輸出層是sigmoid函數。這是因為sigmoid函數可以把實數域光滑的映射到[0,1]空間。函數值恰好可以解釋為屬於正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數單調遞增，連續可導，導數形式非常簡單，是一個比較合適的函數
（3）對於多分類問題，輸出層就必須是softmax函數了。softmax函數是sigmoid函數的推廣

D. BP神經網路中net.iw{1,1} 兩個1分別代表什麼意思

第一個1是指網路層數（net.numLayers）；

第二個1是指網路輸入個數（net.numInputs）；

從第j個輸入到到第i層的權重的權重矩陣（或null matrix []）位於net.iw {i，j}；

神經網路對象IW屬性：該屬性定義了網路輸入和各輸入層神經元之間的網路權值，屬性值為NxNi維的單元數組，其中，N為網路的層數，Ni為網路的輸入個數。

如果net.inputConnect(i,j)為1，即第i層上的各神經元接收網路的第j個輸入，那麼在單元net.iw {i，j}中將存儲它們之間的網路權值矩陣。

該矩陣的行數為第i層神經元的個數（net.layers{i}.size），列數為第j個輸入的維數（net.inputs{j}.size）與輸入延退拍數（net inputWeights{i,j}.delays）的乘積。

(4)神經網路推廣擴展閱讀：

net.IW{i,j}的作用

通過訪問net.IW{i,j}，可以獲得第i 個網路層來自第j 個輸入向量的權值向量值。 所以一般情況下net,iw{1,1}就是輸入層和隱含層之間的權值。

net.IW{i,j}各個屬性的含義：

（1）、delays：該屬性定義了網路輸入的各延遲拍數，其屬性值是由0或正整數構成的行矢量，各輸入層實際接收的是由網路輸入的各個延遲構成的混合輸入。

（2）、initFcn：該屬性定義了輸入權值的初始化函數，其屬性值為表示權值初始化函數名稱的字元串。

（3）、learn：該屬性定義了輸入權值在訓練過程中是否進行調整，其屬性值為0或1。

（4）、learnFcn：該屬性定義了輸入權值的學習函數，其屬性值為表示權值學習函數名稱的字元串。

E. 想要學習人工神經網路，需要什麼樣的基礎知識

最基礎的部分的話需要：線性代數，機器學習，微積分，優化等等。

• 幾乎所有操作都有矩陣專運算，所以至少最基屬礎的線性代數需要掌握

• 建議從單一的感知機Perceptron出發，繼而認識到DecisionBoundary(判別邊界),以及最簡單的一些「監督訓練」的概念等，有機器學習的基礎最好。就結果而言，諸如「過擬合」之類的概念，以及對應的解決方法比如L1L2歸一，學習率等也都可以從單個感知機的概念開始入門。

• 從單層感知器推廣到普通的多層感知器MLP。然後推廣到簡單的神經網路（激活函數從階躍「軟化」為諸如tanh等類型的函數），然後引入特定類型的網路結構，比如最基本的全連接、前向傳播等等概念。進而學習訓練演算法，比如反向傳播，這需要微積分的知識（Chainrule）,以及非線性優化的最基礎部分，比如梯度下降法。

• 其次至少需要具備一些適用於研究的編程語言的技能，例如python，matlab，（C++也可行）等，哪怕不自己實現最簡單的神經網路而是用API，也是需要一定計算機能力才能應用之。

• 超過網路工程師的決心，不要弄出個網路知道答案審批這么搓的東西。
  

F. 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(6)神經網路推廣擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

G. 為什麼iphone12用的第一代神經網路引擎什麼意思

神經網路引擎是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型，這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

神經網路引擎通過對人腦的基本單元神經元的建模和聯接，探索模擬人腦神經系統功能的模型，並研製一種具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統，神經網路引擎的一個重要特性是它能夠從環境中學習，並把學習的結果分布存儲於網路的突觸連接中，其學習是一個過程。

在所處環境的激勵下，相繼給網路輸入一些樣本模式，並按照一定的學習演算法規則調整網路各層的權值矩陣，待網路各層權值都收斂到一定值，學習過程結束，然後可用生成的神經網路來對真實數據做分類。

(7)神經網路推廣擴展閱讀

蘋果在最新發布會上，公布了十周年版iPhone X，極大地吸引了人們的注意力。在iPhone X眾多特性中，使用面部識別FaceID代替原有的指紋識別TouchID進行屏幕解鎖和身份認證無疑是最大的亮點之一，這有可能成為蘋果對於手機交互進步的又一次推動。

FaceID使用了人工智慧技術完成人臉三維建模中的特徵提取，並且用這些特徵配合演算法來實現人臉識別。現場演示中，FaceID人臉識別用戶體驗非常流暢，而在流暢體驗背後的功臣，則是A11 Bionic SoC上集成的人工智慧加速器，蘋果官方稱之為「神經網路引擎(neural engine)」。

H. 支持向量機和神經網路那個前景更好

你好！支持向量機SVM ( Support Vector Machines)是由Vanpik領導的AT&TBell實驗室研究小組
在1963年提出的一種新的非常有潛力的分類技術, SVM是一種基於統計學習理論的模式識別方法，主要應用於模式識別領域.由於當時這些研究尚不十分完善,在解決模式識別問題中往往趨於保守,且數學上比較艱澀,因此這些研究一直沒有得到充的重視.直到90年代,一個較完善的理論體系—統計學習理論 ( StatisticalLearningTheory,簡稱SLT) 的實現和由於神經網路等較新興的機器學習方法的研究遇到一些重要的困難,比如如何確定網路結構的問題、過學習與欠學習問題、局部極小點問題等,使得SVM迅速發展和完善,在解決小樣本 、非線性及高維模式識別問題中表現出許多特有的優勢,並能夠推廣應用到函數擬合等其他機器學習問題中.從此迅速的發展起來，現在已經在許多領域（生物信息學，文本和手寫識別等）都取得了成功的應用。
SVM的關鍵在於核函數，這也是最喜人的地方。低維空間向量集通常難於劃分，解決的方法是將它們映射到高維空間。但這個辦法帶來的困難就是計算復雜度的增加，而核函數正好巧妙地解決了這個問題。也就是說，只要選用適當的核函數，我們就可以得到高維空間的分類函數。在SVM理論中，採用不同的核函數將導致不同的SVM演算法
它是一種以統計學理論為基礎的，以結構風險最小化的學習機學習方法，要優於神經網路學習。

I. bp神經網路選擇激活sigmoid函數，還有tansig函數的優缺點求告知

（1）對於深度神經網路，中間的隱層的輸出必須有一個激活函數。否則多個隱層的作用內和沒有隱層相同。這個容激活函數不一定是sigmoid，常見的有sigmoid、tanh、relu等。
（2）對於二分類問題，輸出層是sigmoid函數。這是因為sigmoid函數可以把實數域光滑的映射到[0,1]空間。函數值恰好可以解釋為屬於正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數單調遞增，連續可導，導數形式非常簡單，是一個比較合適的函數
（3）對於多分類問題，輸出層就必須是softmax函數了。softmax函數是sigmoid函數的推廣