作者:吧友137
神经网络,英文neural network,缩写NN.
如果我们说人工神经网络,那么英文就是artificial neural network,缩写ANN.
据我所学,1943年,McCulloch和Pitts合作推出了神经元的模型.
这个模型很简单,有几个输入,每个输入有一个权.
输入的权在下一个部分被加到一起,最后送到阙值部分进行比较.
如果大于这个值,输出部分就输出一个目标数字.否则不输出.
数学模型是:
Sigma i(Xi * Wi) > T
简单的说,就是每一个输入,乘以自身的权,最后把所有输入跟权的乘积加在一起,和T比较. 如果大于T,则输出信号.反之不输出.
阙值,英文threshold. 其实就是一个固定的数字. 为什么叫阙,因为好比一个开关阀门，所以叫这个名字。
从1943年到1960年,我估计由于二战后英国曾经只保留了两所大学人工智能的研究经费,所以研究发现不多.(此说法本人有确实根据).
然后就是1960年.
这个规则,被Donald Hebb发现.
介绍下Hebb.
Donald Hebb,是一位加拿大心理学家.他对神经心理学有着影响,同时他致力于研究心理学的一些活动,例如学习.
wiki上面称他被公认为神经心理学和神经网络之父亲.
这个规则或者现象,早在1890年就被William James描述或者发现过.
Hebb规则:
如果某个输入总是在一个神经元输出时acitve,那么这个输入的权应该增加.
翻译:
这是个经典的条件.
当两个"东西",经常短时间内彼此成对出现,那么一个"东西"应该让另外一个更可能出现.
就是说,某个输入Xi,在输出时他一直保持有"作为"或者"有输入",那么它的权值就应该不断增加,也就意味着它的重要性在不断增加.
回到Hebb规则来.但是有几个问题要了解.
神经网络到底是什么?
神经元到底是什么?
神经网络,个人理解,就是通过模拟神经之间的活动,构建数学模型用来完成逻辑计算的目的.
神经元,神经网络的一个组成单元,神经元之间可以传递信号,内部进行着简单的运算.
Hebb规则带来的问题.
如果仔细阅读这个规则,就会发现一些问题.
A,没有任何的措施来减少权.
B,这里面包含了一定程度的神经元的神经线连接反应.
(a degree of responsibility at the synapse)
在1949年,这个问题只有很少的迹象,但是现在,已经很明确了.
简单的说,就是这个规则并不完善.
其一,这个规则没有说明当输入不active时候该怎么办.
而且,这个规则没有涉及多层神经元. 因为，一些问题就必须用三角规则来学习.
其实,神经网络的研究,甚至人工智能的研究,必须和心理学联系起来.
我前阵子看到北京某名校开始招收心理学专业的学生,不知道这个心理学能否被人们所理解.
因为大家认识中的心理学家,都拿着一个怀表,坐在沙发,催眠他们对面的病人,电影无间道里面就对这场面刻画的很好.
其实,心理学研究的问题很广泛,例如我现在在做的项目,就同时涉及了好几个学科.
当然,人工智能也是心理学研究的课题之一,说这些,希望大家能多了解人工智能,也能多了解心理学.
就我所知,人工智能,不但要涉及计算机,编程,数学.同时要涉及心理学,生物化学biochemical,生物信息学BioInformatic微观神经学microNeurology,还要涉及逻辑学logical,运筹学operational research等等.
1960年,Delta Rule.
三角规则.
被Widrow和Hoff提出.
也叫Widrow-Hoff规则;最少中值方差(least mean square)规则.
一般的三角规则算法:
1.首先确定一个在期望的输出和实际输出之间的误差.
2.只要能修正一部分误差,我们就改变所有的"活着的" 权 和 阙值.
3.重复这些直到输出达到一个可以接受的水平.
widrow和hoff介绍.
Bernard Widrow ,美国电子工程EE教授.生于1929,还活着.[wiki]
现在斯坦福大学,他是widrow-hoff 最小中值方差的合作发明者.
Ted-hoff是他的博士生.
Ted-Hoff,生与1937,在Rensselaer Polytechnic Institute 拿到1958年的电子工程学士学位.
他是微处理器的发明人之一.他在本科毕业后,在通用铁路信号公司工作,在这期间拿到他的头两个专利,之后得到国家科学基金会的资助,上了斯坦福大学. 拿到msc和phd.
我们熟知的三角训练规则正是他和导师Widrow合作的毕业论文的一部分.
本来是复习biologically inspired computation,结果写了这么多.
希望对你有帮助
用神经元构成的生物周期震荡器,可以通过学习改变震荡周期的变化,使生物周期的变化符合外界的环境等.
神经元的记忆运算一体化而且是大规模的实行并行计算,是生物大脑对有些计算比电脑还快的原因,但必须串行计算的问题那就远不如电脑了,一个电脑可模拟若干的神经元活动,要模拟一个人的大脑用现代的电脑就需用许多个并行计算才行.神经元的内反馈机制是一定要进行模拟的,他是学习和联想的基本要素.神经网络的各层次的反馈调节是自动保持与外界实现某种平衡的重要机制.还有神经网络中信息的非线性变换存在模糊在到清晰的过程,这也是一个很重要的变换过程,泛化和模糊化有关,如果没有模糊化的过程就不会有泛化的现象.
Perceptron,感知器.
被Rosenblatt和Wightman等人发现.
Xi是输入,Wi是输入的权.
当所有的权乘以输入,乘积的总和大于0的时候,该模型输出.否则不输出信号.
Frank Rosenblatt(1928-1971),是一位出生在纽约的计算机学家,他完成了感知器,或者马克1型计算机的设计,1960年,康奈尔大学,Cornell University.
这是世界上第一台通过不断的修正错误和尝试,来学习新技能的计算机,该计算机采用了一种神经网络来模拟人类思考的过程.
Rosenblatt的感知器,最开始是在1954年,康奈儿大学航空动力学实验室的IBM704 型计算机上模拟的. 通过对神经网络和感知器的研究,Rosenblatt希望一般的信息处理系统,包括人和机器,其结构的功能性原理可能被理解.
Rosenblatt1946年毕业于Bronx技术高中,在60年代早期,他是康内尔大学的活跃分子,一个很帅的本科生,他开着一辆经典款式的MGA跑车,经常能看到他养的叫做Tobermory的猫.
在学校工作期间,他很喜欢跟本科生混在一起. 同时他教授一门有很多不同科目的课程,并从电子工程和自由行为艺术学院招收学生的专业. 最后授予学生们"大脑功能原理"的学士学位.
这个学位是不同来源的知识的一个大杂烩,脑外科对癫痫患者实验的结果,对虚拟大脑活动进行测量的实验,研究脑外伤带来的大脑的功能性缺失,和一系列分析与电路模拟的神经行为...
这里面也有些比较新颖的研究,基于当时已知的大脑活动,当时CAT扫描已经投入使用了,基于一系列神经元连接的数量计算得出,人的大脑皮质能够储存完整的一副图象,包括感知的输入,在每秒16桢的速率下能储存大约200年长度的幻灯片.
1962年,Rosenblatt终于出版了一系列关于这个学科的书籍"神经动力学原理:感知器和大脑功能原理"(Spartan Books, 1962). 这之后他就用这本书来教学.
1971年,Rosenblatt死于划船事故,1980年开始,科学家再度开始研究他的工作.
以下摘自人工神经元网络及其应用,袁曾任编著.
"1957年美国学者提出最简单的感知器的模型,它是一个具有单层计算单元的神经元网络,输出用的是线形阙值单元.
它的工作原理是输入信息被直接送到输出节点,通过一个阶梯形函数F()作用[计算]后,给出输出信息. 从数学上说,就是当起输入加权大于或者等于阙值时,输出为1,否则为0或者-1. 它与MP模型的不同之处就在于假定神经元之间的耦合程度(即权系W)可变,这样,它就有学习功能了. 原始的感知器算法只有一个输出节点,它相当于单个神经元,如图2.8所示."
当它用于两类模式的分类时,相当于在高维样本空间中,用一个超平面将两类样本分开. Rosenblatt本人和其他人在20世纪60年代初期,给出了严格的数学证明. 对线性可分的样本,那么,算法一定是收敛的,就是说W一定存在,否则,判定边界会产生震荡,以至W不收敛.
----ends here
感知器的学习方程:
-单个输出的感知器:
W(new) = W(old) + η * (Y - Y`) * x
-多个输出感知器
W(new) = W(old) + η * θ(Ns - W(old)*Z)*Z
这两个希腊字母一个叫做eta,一个叫做theta.
eta是一个神经网络内部预设的比率(learning rate),用来调节学习的速度.(AND门的学习速率是0.25的话,19次就可以准确完成了).
theta叫做阙值水平,英文Threshold level.
接下来要讲的是Rumelhart和McClelland.
这两个人是如此重要,以至于我都基本上记住他两个蹩脚的名字了.
同时Rumelhart曾经在华盛顿大学和Philippe de wilde,80年代还是90年曾经共同执教过神经网络这门课.
如果我们在google输入这两个名字.能找到
Parallel Distributed Processing - Vol. 1 - The MIT Press,1986
这是一本很重要的书,再说一次吧,确实很重要,里面的一些文章为现代人工智能,尤其是神经网络指明了发展的方向.
所以建议大家读读这本书. 当你完全读了这本书后,就可以和你的神经网络课的教授站在一个起跑线上.
之所以这么说,是因为这本书是他们回家睡觉之前要读的教材.
James L. McClelland is Professor of Psychology and the founding Director of the Center for Mind, Brain and Computation at Stanford University. He is the author, with David E. Rumelhart and the PDP Research Group, of Parallel Distributed Processing: Explorations in the Microstructure of Cognition (MIT Press, 1986).
James L. McClelland是斯坦福大学的心理学教授,大脑心灵和计算科学研究中心的创始主任.. 他和Rumelhart, pdp研究小组共同编著了<并行分配计算:揭示认知的微观结构>,MIT,1986
--以上摘自于MIT出版社
David Everett Rumelhart生于1942年，对分析研究人类识别的原理做出了很多贡献。
他的主要工作是位心理学构建一个数学的框架，以及符号主义的人工智能和parallel distributed processing。
他同时也尊崇一种语义学的方法，来识别一个明确叙述的语法形式，以捕捉文章故事的结构。
在1986，他和McClelland共同出版了Parallel Distributed Processing, 这本书至今被模式识别专家们奉为他们的宝典。
他在南达科塔州大学念的undergraduate(本科)，并于1963年获得心理学和数学的学士学位。
之后，在1967年于斯坦福获得数学模式的心理学博士学位。
1967于1987在加州大学圣迭戈的心理学部门工作，1987回到斯坦福，获得教授头衔，直到1998年退休。
期间入选美国科学院（1991）并获得许多奖项。
为了纪念他，2000年美国私人成立Rumelhart奖，表彰人类识别理论基金贡献的科学家。
kohonen's self organised mapping
这段跳过BP,跳过其他自组织神经网络.因为我明天生物激发计算考试.
再度从袁曾任教授的书中节取部分.(因为除此外找不到合适的中文材料,翻译手头英文材料非常耗费时间，但是我将随后给出英文材料，来源跟书中尽量不重复，供大家学习参考)
人脑是有大量的细胞所组成，根据生理学研究结果表明其作用并非相同。出于空间不同部位的区域分工不同，也就是说在空间中处于不同位置的脑细胞区域控制人体不同部位的运动。同样，处于不同区域的细胞对来自某一方面或特定的刺激信号的敏感程度也不同。
这种特定细胞对特定信号的特别反应能力似乎来自后天的经历和学习而成。
大脑中分布着大量的协调作用的神经元群体，有这些群体组成的大脑网络是一个复杂的反馈系统，包括局部反馈、整体反馈和化学交互作用。神经细胞模型中存在一种细胞聚类的功能柱，他是由多个细胞聚合成的，在接受外界的刺激后，他们会自动形成，一个功能柱中的细胞完成同一种功能。
这种聚类现象对于大脑的信息处理器着重要作用。在大脑皮层中，神经元是二维空间排列，其输入信号主要有来自感觉组织（或者其他区域的外输入信号）和同一区域的反馈信号两部分。神经元之间的信息交互方式有很多，然而相邻神经元之间的局部交互有一个共同的侧向交互方式，大约小于0.5毫米的最相近的“邻元”互相兴奋，比较远的邻元（１－２毫米）互相抑制，更远的又是弱兴奋，这种局部交互形式常被称为墨西哥帽。
芬兰的Kohonen T正是根据人脑的这些特点提出了自组织映射理论。他认为神经网络中邻近的各个神经元通过彼此侧向交互作用，相互竞争，自适应发展成检测不同信号的特殊监测器，这就是自组织特征映射的含义。
在Kohonen得模型中反映了上面提到过的生物中那些细胞结构和现象。当外界输入不同的样本到人工的自组织映射网络中，已开始时输入样本引起输出兴奋细胞的位置各不相同，但经过自组织后形成一些细胞群，他们分别反映了输入样本的特征。这些细胞群，如果在二位输出空间，则是一个平面区域，样本自学习后，在输出神经元层中排列成一张二维的映照图，功能相同的神经元靠得比较近，功能不相同的神经元分的比较开，这个映射过程是用一个简单的竞争算法来完成的，其结果可以使一些无规则的输入自动排序，在连接权的调整中可以使全的分布于输入样本的概率密度分布相似，同时它又是一种样本特征监测器，那么在样本排序、分类检测中得到广泛应用。
在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识。
对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。
依据大脑对信号处理的特点，在1981年，T．Kohonen提出了一种神经网络模型，也就是自组织特征映射模型SOM(Seh—Organizing fenture Map)。
Kohonen认为人的大脑有如下特点：
1．大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。
2．大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。
3．根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。
4．大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。
Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。对于一个系统来说，就是要解决一个系统在受外界信息作用时在内部自组织地形成对应表示形式。这包括神经网络的权系数调整。
神经网络的自调整过程和大脑的自组织过程是相仿的。由于神经网络是由可以自调整的神经元组成；所以，可以自组织成对外界信息中某一种特征敏感的形式。
神经元之间的信息交互方式有很多种，不过研究表明：相邻近的神经元之间的局部交互的方式是侧向交互。这种侧向交互方式遵从下列有关规则：
1．以发出信号的神经元为圆心，对近邻的神经元的交互作用表现为兴奋性侧反馈；
2．以发出信号的神经元为圆心，对远邻的神经元的交互作用表现为抑制性侧反馈。
这种规则说明近邻者相互激励，远邻者相互抑制。一般而言，近邻是指从发出信号的神经元为圆心．半径约为50—500µm左右的神经元；远邻是指半径为200µm—2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。这样，这种局部交互方式如图1—28所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。
神经网络中，邻近的各个神经元之间通过相互的侧向交互作用，从而产生相竞争的过程，自适应地形成了针对特殊信息的组织结构。很明显，这种结构可以成为检测特殊信息的特殊检测器。这样，神经网格的自组织过程和行为，可以成为一种检测各种不同信息模式的检测相识别器。这也是自组织持征映射的意义所在。
照例,介绍下Kohonen.
Kohonen博士,芬兰科学家,著名的研究学者,芬兰国家学院的退休名誉教授.
Kohonen教授在人工智能,特别是人工神经网络方面做了很多杰出贡献,尤其是学习向量量子化算法 (Learning Vector Quantization algorithm), 为分布式关联存储(distributed associative memory) 和 最优化联系映射 (optimal associative mappings)奠定基础. 同时他的工作包括子空间学习算法 (learning subspace method )，和符号处理的新算法例如冗余哈希寻址(redundant hash addressing)。
他出版过几本书籍，和超过200篇同等评价的论文。他最杰出的贡献是自组织映射（Self-Organizing Map） 也被人称为Kohonen map 或者Kohonen 神经网络，尽管他自己选择称之为SOM。
由于SOM算法在实际应用和很多科研领域的广泛应用(英语原文如此),Kohonen被誉为芬兰最优秀的科学家。现在Kohonen映射的次数超过8000多次。 这次又加了一次。
他研究生涯的大多数时间都在赫尔辛基工业大学[TKK]的神经网络研究中心度过。这个中心是芬兰国家学院指定为重点的特别为研发Teuvo's Kohonen创新而设立的研究机构。说白了就是给这老家伙建立的中心。
他退休之后，这个中心被Erkki,Oja教授继续领导，同时更名为适应性信息研究中心。
82到84年间，Teuvo Kohonen被推举为国际模式识别协会第一位副主席，并出任欧洲神经网络协会第一位主席，1991到1992。
由于他的研究成果，他本人被授予一系列奖项。
Ieee 神经网络协会先锋奖1991。
Ieee 信号处理协会科技奖1995。
Frank Rosenblatt科学领域奖 2008。
神经元信号的强度是由输入信号的频率决定的;
而不是输入信号的强度;
两个比较常用的神经网络结构.
Hopfield Network;
-单层,所有连接都在一层,自动联系式的;
MLP,多层Perceptron;
-多层,所有连接在临近的层之间,没有连接到其他层内部,异性联系式的.
Hopfield Network Property
在网络中,每个节点都连接到其他的节点
在网络中,保持对等的权连接,W59 = W95
节点激活不是1就是-1
MLP
每一层都连接到邻近的层；
连接是前馈方式的
从输入I，路过隐含层H，到输出O
Hopfield: Linear combinations of learnt patterns or optimal solutions becane attractors
学习的模式或者最优化解的线性合并变得很吸引人？
MLP : 梯度下降训练是爬山算法的倒数，并且只有局部最小。
过度拟合:MLP
Limited storage capacity Hopfield,有限的存储容量，Hopfield
少于N/Ln(N) 个模式的时候才能安全的记忆
以上来自wiki
谢谢欣赏~~~:)