神经网络结构具有以下三个特点:神经元之间全连接,并且为单层神经网络。每个神经元既是输入又是输出,导致得到的权重矩阵相对称,故可节约计算量。
在输入的激励下,其输出会产生不断的状态变化,这个反馈过程会一直反复进行。
假如Hopfield神经网络是一个收敛的稳定网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦达到了稳定的平衡状态,Hopfield网络就会输出一个稳定的恒值。
Hopfield网络可以储存一组平衡点,使得当给定网络一组初始状态时,网络通过自行运行而最终收敛于这个设计的平衡点上。
当然,根据热力学上,平衡状态分为stable state和metastable state, 这两种状态在网络的收敛过程中都是非常可能的。为递归型网络,t时刻的状态与t-1时刻的输出状态有关。
之后的神经元更新过程也采用的是异步更新法(Asynchronous)。Hopfield神经网络用python实现。
谷歌人工智能写作项目:神经网络伪原创

最基础的部分的话需要:线性代数,机器学习,微积分,优化等等文案狗。
几乎所有操作都有矩阵运算,所以至少最基础的线性代数需要掌握建议从单一的感知机Perceptron出发,继而认识到Decision Boundary(判别边界),以及最简单的一些“监督训练”的概念等,有机器学习的基础最好。
就结果而言,诸如“过拟合”之类的概念,以及对应的解决方法比如L1 L2归一,学习率等也都可以从单个感知机的概念开始入门。从单层感知器推广到普通的多层感知器MLP。
然后推广到简单的神经网络(激活函数从阶跃“软化”为诸如tanh等类型的函数),然后引入特定类型的网络结构,比如最基本的全连接、前向传播等等概念。
进而学习训练算法,比如反向传播,这需要微积分的知识(Chain rule),以及非线性优化的最基础部分,比如梯度下降法。
其次至少需要具备一些适用于研究的编程语言的技能,例如python,matlab,(C++也可行)等,哪怕不自己实现最简单的神经网络而是用API,也是需要一定计算机能力才能应用之。
import mathimport random(0)def rand(a,b): #随机函数return (b-a)*random.random()+adef make_matrix(m,n,fill=0.0):#创建一个指定大小的矩阵mat = []for i in range(m):mat.append([fill]*n)return mat#定义sigmoid函数和它的导数def sigmoid(x):return 1.0/((-x))def sigmoid_derivate(x):return x*(1-x) #sigmoid函数的导数class BPNeuralNetwork:def __init__(self):#初始化变量self.input_n = 0self.hidden_n = 0self.output_n = 0self.input_cells = []self.hidden_cells = []self.output_cells = []self.input_weights