神经网络推广

A. 神经网络优缺点，

优点：

（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。

自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

（3）具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

缺点：

（1）最严重的问题是没能力来解释自己的推理过程和推理依据。

（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。

（4）理论和学习算法还有待于进一步完善和提高。

(1)神经网络推广扩展阅读：

神经网络发展趋势

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。

参考资料：网络-人工神经网络

B. 什么是“小波神经网络”能干什么用呀

小波神经网络（Wavelet Neural Network， WNN）是在小波分析研究获得突破的基础上提出的一种人工神经网络。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型。

 即用非线性小波基取代了通常的非线性Sigmoid 函数，其信号表述是通过将所选取的小波基进行线性叠加来表现的。它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。

“小波神经网络”的应用：

1、在影像处理方面，可以用于影像压缩、分类、识别与诊断，去污等。在医学成像方面的减少B超、CT、核磁共振成像的时间，提高解析度等。

2、在信号分析中的应用也十分广泛。它可以用于边界的处理与滤波、时频分析、信噪分离与提取弱信号、求分形指数、信号的识别与诊断以及多尺度边缘侦测等。

3、在工程技术等方面的应用。包括电脑视觉、电脑图形学、曲线设计、湍流、远端宇宙的研究与生物医学方面。

(2)神经网络推广扩展阅读：

小波神经网络这方面的早期工作大约开始于1992 年，主要研究者是Zhang Q、Harold H S 和焦李成等。其中，焦李成在其代表作《神经网络的应用与实现》中从理论上对小波神经网络进行了较为详细的论述。近年来，人们在小波神经网络的理论和应用方面都开展了不少研究工作。

小波神经网络具有以下特点：首先，小波基元及整个网络结构的确定有可靠的理论根据，可避免BP 神经网络等结构设计上的盲目性；其次，网络权系数线性分布和学习目标函数的凸性，使网络训练过程从根本上避免了局部最优等非线性优化问题；第三，有较强的函数学习能力和推广能力。

C. 神经网络为什么要用sigmoid函数为什么要映射到0-1之间求解释

（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。
（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数
（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广

D. BP神经网络中net.iw{1,1} 两个1分别代表什么意思

第一个1是指网络层数（net.numLayers）；

第二个1是指网络输入个数（net.numInputs）；

从第j个输入到到第i层的权重的权重矩阵（或null matrix []）位于net.iw {i，j}；

神经网络对象IW属性：该属性定义了网络输入和各输入层神经元之间的网络权值，属性值为NxNi维的单元数组，其中，N为网络的层数，Ni为网络的输入个数。

如果net.inputConnect(i,j)为1，即第i层上的各神经元接收网络的第j个输入，那么在单元net.iw {i，j}中将存储它们之间的网络权值矩阵。

该矩阵的行数为第i层神经元的个数（net.layers{i}.size），列数为第j个输入的维数（net.inputs{j}.size）与输入延退拍数（net inputWeights{i,j}.delays）的乘积。

(4)神经网络推广扩展阅读：

net.IW{i,j}的作用

通过访问net.IW{i,j}，可以获得第i 个网络层来自第j 个输入向量的权值向量值。 所以一般情况下net,iw{1,1}就是输入层和隐含层之间的权值。

net.IW{i,j}各个属性的含义：

（1）、delays：该属性定义了网络输入的各延迟拍数，其属性值是由0或正整数构成的行矢量，各输入层实际接收的是由网络输入的各个延迟构成的混合输入。

（2）、initFcn：该属性定义了输入权值的初始化函数，其属性值为表示权值初始化函数名称的字符串。

（3）、learn：该属性定义了输入权值在训练过程中是否进行调整，其属性值为0或1。

（4）、learnFcn：该属性定义了输入权值的学习函数，其属性值为表示权值学习函数名称的字符串。

E. 想要学习人工神经网络，需要什么样的基础知识

最基础的部分的话需要：线性代数，机器学习，微积分，优化等等。

• 几乎所有操作都有矩阵专运算，所以至少最基属础的线性代数需要掌握

• 建议从单一的感知机Perceptron出发，继而认识到DecisionBoundary(判别边界),以及最简单的一些“监督训练”的概念等，有机器学习的基础最好。就结果而言，诸如“过拟合”之类的概念，以及对应的解决方法比如L1L2归一，学习率等也都可以从单个感知机的概念开始入门。

• 从单层感知器推广到普通的多层感知器MLP。然后推广到简单的神经网络（激活函数从阶跃“软化”为诸如tanh等类型的函数），然后引入特定类型的网络结构，比如最基本的全连接、前向传播等等概念。进而学习训练算法，比如反向传播，这需要微积分的知识（Chainrule）,以及非线性优化的最基础部分，比如梯度下降法。

• 其次至少需要具备一些适用于研究的编程语言的技能，例如python，matlab，（C++也可行）等，哪怕不自己实现最简单的神经网络而是用API，也是需要一定计算机能力才能应用之。

• 超过网络工程师的决心，不要弄出个网络知道答案审批这么搓的东西。
  

F. 前馈神经网络、BP神经网络、卷积神经网络的区别与联系

一、计算方法不同

1、前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。

2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。

3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。

二、用途不同

1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。

2、BP神经网络：

（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；

（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；

（3）分类：把输入向量所定义的合适方式进行分类；

（4）数据压缩：减少输出向量维数以便于传输或存储。

3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。

联系：

BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。

三、作用不同

1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。

2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。

3、卷积神经网络：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

(6)神经网络推广扩展阅读：

1、BP神经网络优劣势

BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。

①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。

②容易陷入局部极小值。

③网络层数、神经元个数的选择没有相应的理论指导。

④网络推广能力有限。

2、人工神经网络的特点和优越性，主要表现在以下三个方面

①具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、效益预测，其应用前途是很远大的。

②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

③具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

G. 为什么iphone12用的第一代神经网络引擎什么意思

神经网络引擎是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络引擎通过对人脑的基本单元神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统，神经网络引擎的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中，其学习是一个过程。

在所处环境的激励下，相继给网络输入一些样本模式，并按照一定的学习算法规则调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束，然后可用生成的神经网络来对真实数据做分类。

(7)神经网络推广扩展阅读

苹果在最新发布会上，公布了十周年版iPhone X，极大地吸引了人们的注意力。在iPhone X众多特性中，使用面部识别FaceID代替原有的指纹识别TouchID进行屏幕解锁和身份认证无疑是最大的亮点之一，这有可能成为苹果对于手机交互进步的又一次推动。

FaceID使用了人工智能技术完成人脸三维建模中的特征提取，并且用这些特征配合算法来实现人脸识别。现场演示中，FaceID人脸识别用户体验非常流畅，而在流畅体验背后的功臣，则是A11 Bionic SoC上集成的人工智能加速器，苹果官方称之为“神经网络引擎(neural engine)”。

H. 支持向量机和神经网络那个前景更好

你好！支持向量机SVM ( Support Vector Machines)是由Vanpik领导的AT&TBell实验室研究小组
在1963年提出的一种新的非常有潜力的分类技术, SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域.由于当时这些研究尚不十分完善,在解决模式识别问题中往往趋于保守,且数学上比较艰涩,因此这些研究一直没有得到充的重视.直到90年代,一个较完善的理论体系—统计学习理论 ( StatisticalLearningTheory,简称SLT) 的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难,比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等,使得SVM迅速发展和完善,在解决小样本 、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中.从此迅速的发展起来，现在已经在许多领域（生物信息学，文本和手写识别等）都取得了成功的应用。
SVM的关键在于核函数，这也是最喜人的地方。低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，我们就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法
它是一种以统计学理论为基础的，以结构风险最小化的学习机学习方法，要优于神经网络学习。

I. bp神经网络选择激活sigmoid函数，还有tansig函数的优缺点求告知

（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用内和没有隐层相同。这个容激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。
（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数
（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广