联结主义

基本原则

联结主义的中心原则是使用，简单且经常一致的单元互联网络，来描述心理现象。联结及单元的形式可以从模型到模型修改。例如，网络的单元及联结可以分别表示人脑中的神经元及突触。

扩散激活

在大多数联结主义模型中，网络会随着时间而变化。联结主义模型的一个密切且普遍的方面是激活 。任何时候，网络中的单元都会有个激活，而该激活是表示该单元某些方面的数值。例如，如果模型中的单位是神经元，则激活可以表示神经元产生动作电位峰值的概率 。激活通常会传递到与其联结的所有其他单元。扩散激活一直是神经网络模型的特征，而其在认知心理学家使用的联结主义模型中也很常见。

生物现实主义

一般而言，联结主义者的工作不需要具有生物学上的现实意义，因此缺乏神经科学的合理性。

学习

神经网络中的权重根据某些学习规则或算法（如赫布学习)进行调整。因此，联结主义者为神经网络创建了许多复杂的学习过程。学习总是涉及修改联结权重。通常，给定的数据集由神经单元的某个子集的激活向量组成时，这些公式会涉及到数学公式，以确定权重的变化。设计基于联结主义的教学方法是近年来研究的热点。  
借由这种方式正规化学习，联结主义者能够使用许多工具。在联结主义的学习方法中，有一种很常见的策略是在以权重矩阵所定义的空间中，于该空间的误差表面与梯度下降合并。在联结主义者模型中，所有梯度下降学习都涉及通过误差表面对应于权重的偏导数来更改每个权重。反向传播 （BP）最早流行于1980年代，它可能是当今最普遍的联结主义梯度下降算法。

历史

联结主义可以追溯到一个世纪以上的思想，在20世纪中后期之前，这些思想仍只是猜测。

早期工作

PDP的直接根源是研究人员的感知器理论，例如1950年代和1960年代的弗兰克·罗森布拉特 (Frank Rosenblatt)。但是，由马文·明斯基和西摩尔·派普特在1969年出版的《 感知机 》一书，使感知器模型变得非常不得人心。它详述了单层（无隐藏层）感知器计算功能的局限性，甚至无法执行如异或问题 （exclusive disjunction，如判断这是苹果还是桔子，但不是二者皆是）这样的简单功能。 PDP书籍克服了这一限制，因为它表明多层次的非线性神经网络更加强大，可以用于大量的函数阵列。  
许多早期的研究人员提倡联结主义风格的模型，例如1940年代和1950年代的沃伦·麦卡洛克、沃尔特·皮茨 （ MP神经元 ）、唐纳德·赫布和卡尔·拉什利。McCulloch和Pitts则展示了神经系统如何实现一阶逻辑 ：其经典论文《神经活动中内在思想的逻辑演算》（1943）对深深影响了这方面的发展，而他们受到了尼古拉斯·拉舍夫斯基（ Nicolas Rashevsky） 在1930年代的重要成果之影响。赫布对神经功能的推测做出了巨大贡献，并提出了一种叫做赫布学习的学习原则，一直使用至今。拉什利（Lashley）主张采用分散式表示法，这是因为他在多年的病变实验中，并未发现任何类似于局部印迹的东西。

PDP以外的联结主义

虽然PDP是联结主义的主要形式，但还有其他理论工作也应归类为联结主义。
许多联结主义的原理可以追溯到心理学的早期工作，例如威廉•詹姆斯。 基于人脑知识的心理学理论在19世纪后期很流行。早在1869年，神经学家约翰·休格林·杰克逊(John Hughlings Jackson)就主张多层次分散式系统。在此基础上， 赫伯特·斯宾塞的《心理学原理 》第3版（1872年）和西格蒙德·弗洛伊德的《科学心理学计划》（1895年）提出了联结主义或原型联结主义理论，而这些往往只是推测性的理论。到了20世纪初，爱德华·桑戴克进行了尝试建立联结型网络的实验。 
哈耶克独立在1920年发表的一篇论文中独立构思了赫本突触学习模型，并将该模型发展成由构建成全球脑理论，由更大的地图系统和记忆网络的赫本突触网络所构成。弗兰克·罗森布拉特（Frank Rosenblatt）在其感知器论文中引用了哈耶克的突破性成果。
联结主义模型的另一种形式，是由语言学家悉尼·兰姆（Sydney Lamb）在1960年代开发的关系网络框架。关系网络仅由语言学家使用，从未与PDP方法统一，因此，现今很少研究人员使用。 
另外还有混合联结主义模型，主要是将符号表征与神经网络模型混合在一起。一些如Ron Sun的研究人员提倡混合方法。