人工神经网络

人类的思维能力来自人脑;人脑是一个非常复杂而又高度灵活的神经网络。它大约由1011个神经元构成,每个神经元上有突触,又与大约103个其他神经元相连,形成复杂的生物神经网络。人们通过研究探索人脑神经网络的结构、功能以及它工作的机制,来研究人脑思维和智能活动的规律。人工神经网络(Artificial Neural Networks,ANN)是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在这一模型中，大量的节点（或称“神经元”，或“单元”）之间相互联接构成网络，即“神经网络”，以达到处理信息的目的。

人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者 与领导人Hecht—Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连 续或断续的输入作状态相应而进行信息处理。” 这一定义是恰当的。人工神经网络的研究，可以追溯到 1957年Rosenblatt提出的感知器(Perceptron)模型。它几乎与人工智能——AI（Artificial Intelligence）同时起步，但30余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。直到80年代，获得了关于 人工神经网络切实可行的算法，以及以Von Neumann体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对 人工神经网络发生了兴趣，导致神经网络的复兴。 目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括：多层网络 BP算法，Hopfield网络模型，自适应共振理 论，自组织特征映射理论等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能的基本特征，但远不是自然 神经网络的逼真描写，而只是它的某种简化抽象和模拟。

人工神经网络（ANN）是以计算机网络系统模拟生物神经网络的智能计算系统。网络上的每个结点相当于一个神经元，经可以记忆（存储）、处理一定的信息，并与其它结点并行工作。求解一个问题是向人工神经网络的某些结点输入信息，各结点处理后向其它结点输出，其它结点接受并处理后再输出，直到整个神经网工作完毕，输出最后结果。如同生物的神经网络，并非所有神经元每次都一样地工作。如视、听、摸、想不同的事件（输入不同），各神经元参与工作的程度不同。当有声音时，处理声音的听觉神经元就要全力工作，视觉、触觉神经元基本不工作，主管思维的神经元部分参与工作；阅读时，听觉神经元基本不工作。在人工神经网络中以加权值控制结点参与工作的程度。正权值相当于神经元突触受到刺激而兴奋，负权值相当于受到抑制而使神经元麻痹直到完全不工作。

如果通过一个样板问题“教会”人工神经网络处理这个问题，即通过“学习”而使各结点的加权值得到肯定，那么，这一类的问题它都可以解。好的学习算法会使它不断积累的知识，根据不同的问题自动调整一组加权值，使它具有良好的自适应性。此外，它本来就是一部分结点参与工作。当某结点出故障时，它就让功能相近的其它结点顶替有故障结点参与本题工作，使系统不致中断。所以，它有很强的容错能力。

人工神经网络基本原理图

人工神经网络通过样板的“学习和培训”，可记忆、客观事物在空间、时间方面比较复杂的关系，特点适合于解决各类预测、分类、评估匹配、识别等问题。例如，将人工神经网络上的各个结点模拟各地气象站，根据某一时刻的采样参数（压强、湿度、风速、温度），同时计算后将结果输出到下一个气象站，则可模拟出未来气候参数的变化，做出准确预报。即使有突变参数（如风暴，寒流）也能正确计算。所以，人工神经网络在经济分析、市场预测、金融趋势、化工最优过程、航空航天器的飞行控制、医学、环境保护等领域都有应用的前景。

人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决定着人工神经网络具有高速信息处理的能力。虽然每个神经元的运算功能十分简单，且信号传输速率也较低(大约100次/秒)，但由于各神经元之间的极度并行互连功能，最终使得一个普通人的大脑在约1秒内就能完成现行计算机至少需要数10亿次处理步骤才能完成的任务。 

人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。 

由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。 

正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如：专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意外事故受轻微损伤之后，并不会失去原有事物的全部记忆。人工神经网络也有类似的情况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。 

人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。

总的来说，人工神经网络具有如下特性和优势：

第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就 会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提 供经济预测、市场预测、效益预测，其应用前途是很远大的。 

第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 

第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型 人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。 

Hopfield神经网络原理图

学习规则及过程：它以一种有教师示教的方式进行学习。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播(称为“模式顺传播”)。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”。所以误差逆传播神经网络也简称BP(Back Propagation)网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下来各层间的连接权值之后就可以工作了。 

由于BP网及误差逆传播算法具有中间隐含层并有相应的学习规则可寻，使得它具有对非线性模式的识别能力。特别是其数学意义明确、步骤分明的学习算法，更使其具有广泛的应用前景。目前，在手写字体的识别、语音识别、文本——语言转换、图象识别以及生物医学信号处理方面已有实际的应用。 

但BP网并不是十分的完善，它存在以下一些主要缺陷：学习收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一个训练好的网提供新的学习记忆模式时，将使已有的连接权值被打乱，导致已记忆的学习模式的信息的消失。

KOHONEN神经网络原理图

竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动对输入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则相比，有其自己的鲜明特点。在网络结构上，它既不象阶层型神经网络那样各层神经元之间只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一般是由输入层(模拟视网膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成的两层网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层。有时竞争层各神经元之间还存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实际上也就是网络回忆联想的过程。 

除了竞争的方法外，还有通过抑制手段获取胜利的方法，即网络竞争层各神经元抑制所有其它神经元对输入模式的响应机会，从而使自己“脱颖而出”，成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而对远离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图象边缘的缺陷问题。 

竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失。 

Hopfield神经网络原理图

网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元t时刻的输出状态实际上间接地与自己的t-1时刻的输出状态有关。所以Hopfield神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。 

对于同样结构的网络，当网络参数(指连接权值和阀值)有所变化时，网络能量函数的极小点(称为网络的稳定平衡点)的个数和极小值的大小也将变化。因此，可以把所需记忆的模式设计成某个确定网络状态的一个稳定平衡点。若网络有M个平衡点，则可以记忆M个记忆模式。 

当网络从与记忆模式较靠近的某个初始状态(相当于发生了某些变形或含有某些噪声的记忆模式，也即：只提供了某个模式的部分信息)出发后，网络按Hopfield工作运行规则进行状态更新，最后网络的状态将稳定在能量函数的极小点。这样就完成了由部分信息的联想过程。 

Hopfield神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点，到达全局最小点，因而无法求得网络最优解。这可以通过模拟退火算法或遗传算法得以解决，

近些年来神经网络在众多领域得到了广泛的运用。在民用应用领域的应用，如语言识别、图像识别与理解、计算机视觉、智能机器人故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等；在军用应用领域的应用，如雷达、声纳的多目标识别与跟踪，战场管理和决策支持系统，军用机器人控制各种情况、信息的快速录取、分类与查询，导弹的智能引导，保密通信，航天器的姿态控制等。