用Python实现一个基础的神经网络模型

一、神经元

1.1一个简单的例子

1.2编码一个神经元

1.3把神经元组装成网络

二、前馈

三、训练神经网络

四、总结

前言

可能一提到神经网络，许多小伙伴就会感觉头大，不知道看眼前的你又是怎样的感受呢？[神经网络]这个词听起来让人觉得很高大上，但实际上神经网络算法要比人们想象的简单。今天我将手把手教你用Python来实现一个基础的神经网络模型，理解其背后的原理。

一、神经元

首先让我们看看神经网络的基本单位，神经元。神经元接受输入，对其做一些数据操作，然后产生输出。例如，这是一个2-输入神经元：

这里发生了三个事情。首先，每个输入都跟一个权重相乘（红色）：

然后，加权后的输入求和，加上一个偏差b（绿色）：

激活函数的用途是将一个无边界的输入，转变成一个可预测的形式。常用的激活函数就就是S型函数：

S型函数的值域是(0,1)。简单来说，就是把(−∞,+∞)压缩到(0,1)，很大的负数约等于0，很大的正数约等于1。

1.1一个简单的例子

假设我们有一个神经元，激活函数就是S型函数，其参数如下：

w=[0,1]就是以向量的形式表示w1=0,w2=1。现在，我们给这个神经元一个输入x=[2.3]。我们用点积来表示：

当输入是[2,3]时，这个神经元的输出是0.999。给定输入，得到输出的过程被称为前馈。

1.2编码一个神经元

让我们来实现一个神经元！用Python的NumPy库来完成其中的数学计算：

importnumpyasnpdefsigmoid(x):#我们的激活函数:f(x)=1/(1+e^(-x))return1/(1+np.exp(-x))classNeuron:def__init__(self,weights,bias):self.weights=weightsself.bias=biasdeffeedforward(self,inputs):#加权输入，加入偏置，然后使用激活函数total=np.dot(self.weights,inputs)+self.biasreturnsigmoid(total)weights=np.array([0,1])#w1=0,w2=1bias=4#b=4n=Neuron(weights,bias)x=np.array([2,3])#x1=2,x2=3print(n.feedforward(x))#0.9990889488055994

还记得这个数字吗？就是我们前面算出来的例子中的0.999。

1.3把神经元组装成网络

所谓的神经网络就是一堆神经元。这就是一个简单的神经网络：

这个网络有两个输入，一个有两个神经元（h1和h2）的隐藏层，以及一个有一个神经元（o1）的输出层。要注意，o1的输入就是h1和h2的输出，这样就组成了一个网络。

隐藏层就是输入层和输出层之间的层，隐藏层可以是多层的。

二、前馈

我们继续用前面图中的网络，假设每个神经元的权重都是w=[0,1]截距项也相同b=0，激活函数也都是S型函数。分别用h1,h2表示相应的神经元的输出。

当输入x=[2,3时，会得到什么结果？这个神经网络对输入的输出是0.7216，很简单。

一个神经网络的层数以及每一层中的神经元数量都是任意的。基本逻辑都一样：输入在神经网络中向前传输，最终得到输出。接下来，我们会继续使用前面的这个网络。

接下来我们实现这个神经网络的前馈机制，还是这个图：

importnumpyasnpclassOurNeuralNetwork:def__init__(self):weights=np.array([0,1])bias=0#这里是来自前一节的神经元类self.h1=Neuron(weights,bias)self.h2=Neuron(weights,bias)self.o1=Neuron(weights,bias)deffeedforward(self,x):out_h1=self.h1.feedforward(x)out_h2=self.h2.feedforward(x)#o1的输入是h1和h2的输出out_o1=self.o1.feedforward(np.array([out_h1,out_h2]))returnout_o1network=OurNeuralNetworkx=np.array([2,3])print(network.feedforward(x))#0.7216325609518421

结果正确，看上去没问题。

三、训练神经网络

importnumpyasnpdefsigmoid(x):#Sigmoidactivationfunction:f(x)=1/(1+e^(-x))return1/(1+np.exp(-x))defderiv_sigmoid(x):#Derivativeofsigmoid:f'(x)=f(x)*(1-f(x))fx=sigmoid(x)returnfx*(1-fx)defmse_loss(y_true,y_pred):#y_true和y_pred是相同长度的numpy数组。return((y_true-y_pred)**2).meanclassOurNeuralNetwork:def__init__(self):#权重，Weightsself.w1=np.random.normalself.w2=np.random.normalself.w3=np.random.normalself.w4=np.random.normalself.w5=np.random.normalself.w6=np.random.normal#截距项，Biasesself.b1=np.random.normalself.b2=np.random.normalself.b3=np.random.normaldeffeedforward(self,x):#X是一个有2个元素的数字数组。h1=sigmoid(self.w1*x[0]+self.w2*x[1]+self.b1)h2=sigmoid(self.w3*x[0]+self.w4*x[1]+self.b2)o1=sigmoid(self.w5*h1+self.w6*h2+self.b3)returno1deftrain(self,data,all_y_trues):'''-dataisa(nx2)numpyarray,n=#ofsamplesinthedataset.-all_y_truesisanumpyarraywithnelements.Elementsinall_y_truescorrespondtothoseindata.'''learn_rate=0.1epochs=1000#遍历整个数据集的次数forepochinrange(epochs):forx,y_trueinzip(data,all_y_trues):#---做一个前馈(稍后我们将需要这些值)sum_h1=self.w1*x[0]+self.w2*x[1]+self.b1h1=sigmoid(sum_h1)sum_h2=self.w3*x[0]+self.w4*x[1]+self.b2h2=sigmoid(sum_h2)sum_o1=self.w5*h1+self.w6*h2+self.b3o1=sigmoid(sum_o1)y_pred=o1#---计算偏导数。#---Naming:d_L_d_w1represents"partialL/partialw1"d_L_d_ypred=-2*(y_true-y_pred)#Neurono1d_ypred_d_w5=h1*deriv_sigmoid(sum_o1)d_ypred_d_w6=h2*deriv_sigmoid(sum_o1)d_ypred_d_b3=deriv_sigmoid(sum_o1)d_ypred_d_h1=self.w5*deriv_sigmoid(sum_o1)d_ypred_d_h2=self.w6*deriv_sigmoid(sum_o1)#Neuronh1d_h1_d_w1=x[0]*deriv_sigmoid(sum_h1)d_h1_d_w2=x[1]*deriv_sigmoid(sum_h1)d_h1_d_b1=deriv_sigmoid(sum_h1)#Neuronh2d_h2_d_w3=x[0]*deriv_sigmoid(sum_h2)d_h2_d_w4=x[1]*deriv_sigmoid(sum_h2)d_h2_d_b2=deriv_sigmoid(sum_h2)#---更新权重和偏差#Neuronh1self.w1-=learn_rate*d_L_d_ypred*d_ypred_d_h1*d_h1_d_w1self.w2-=learn_rate*d_L_d_ypred*d_ypred_d_h1*d_h1_d_w2self.b1-=learn_rate*d_L_d_ypred*d_ypred_d_h1*d_h1_d_b1#Neuronh2self.w3-=learn_rate*d_L_d_ypred*d_ypred_d_h2*d_h2_d_w3self.w4-=learn_rate*d_L_d_ypred*d_ypred_d_h2*d_h2_d_w4self.b2-=learn_rate*d_L_d_ypred*d_ypred_d_h2*d_h2_d_b2#Neurono1self.w5-=learn_rate*d_L_d_ypred*d_ypred_d_w5self.w6-=learn_rate*d_L_d_ypred*d_ypred_d_w6self.b3-=learn_rate*d_L_d_ypred*d_ypred_d_b3#---在每次epoch结束时计算总损失ifepoch==0:y_preds=np.apply_along_axis(self.feedforward,1,data)loss=mse_loss(all_y_trues,y_preds)print("Epoch%dloss:%.3f"%(epoch,loss))#定义数据集data=np.array([[-2,-1],#Alice[25,6],#Bob[17,4],#Charlie[-15,-6],#Diana])all_y_trues=np.array([1,#Alice0,#Bob0,#Charlie1,#Diana])#训练我们的神经网络!network=OurNeuralNetworknetwork.train(data,all_y_trues)

随着网络的学习，损失在稳步下降。

现在我们可以用这个网络来预测性别了：

#做一些预测emily=np.array([-7,-3])#128磅,63英寸frank=np.array([20,2])#155磅,68英寸print("Emily:%.3f"%network.feedforward(emily))#0.951-Fprint("Frank:%.3f"%network.feedforward(frank))#0.039-M

四、总结

搞定了一个简单的神经网络，快速回顾一下：

介绍了神经网络的基本结构——神经元；

在神经元中使用S型激活函数；

神经网络就是连接在一起的神经元；

构建了一个数据集，输入（或特征）是体重和身高，输出（或标签）是性别；

学习了损失函数和均方差损失；

训练网络就是最小化其损失；

用反向传播方法计算偏导；

用随机梯度下降法训练网络；

接下来你还可以：

用机器学习库实现更大更好的神经网络，例如TensorFlow、Keras和PyTorch；

在浏览器中实现神经网络；

其他类型的激活函数；

其他类型的优化器；

学习卷积神经网络，这给计算机视觉领域带来了革命；

学习递归神经网络，常用语自然语言处理；