深度学习（十一）——神经网络：线形层及其他层介绍_机器学习

一、正则化层中nn.batchnorm2d简介

主要作用：对输入函数采用正则化。正则化的主要作用是加快神经网络的训练速度。

class torch.nn.batchnorm2d(num_features, eps=1e-05, momentum=0.1, affine=true, track_running_stats=true, device=none, dtype=none)

输入参数：

num_features: 形状为\((n, c, h, w)\)
其他参数默认即可

举例：

# with learnable parameters
m = nn.batchnorm2d(100)
# without learnable parameters
m = nn.batchnorm2d(100, affine=false)
input = torch.randn(20, 100, 35, 45)
output = m(input)

该函数用得不多

二、其他层简介

1. recurrent layers（recurrent层）

内含rnn、lstm等函数，主要在nlp领域用的比较多

2. transformer layers

3. linear layers(线性层)

nn.linear

class torch.nn.linear(in_features, out_features, bias=true, device=none, dtype=none

（1）参数介绍及计算方法

参数介绍：

in_features
out_features
bias(bool)

线性层具体参数解释如下图：

\(in\_features=d\)，即指的是in_features的个数
\(out\_features=l\)，即指的是out_features的个数

计算\(g\)的方法（以上图\(g_1\)为例）：

\(x_1,\dots,x_i,\dots,x_d\)每个指向\(g_1\)的箭头上，均有：

\[k_i*x_i+b_i \]

其中，\(b_i\)代表偏置，参数\(bias=true\)，则加上\(b\)；\(bias=false\)，则不加\(b\)
在每次训练神经网络的过程中，均会调整\(k_i\)、\(b_i\)的值，直到它变成一个合适的数值
由此可得：

\[g_1=\sum^{d}_{i=1}{k_ix_i+b_i} \]

（2）代码示例

以典型的_vgg16 model_网络结构为例：

因此，设置_in_features=4096; out_feature=1000_

下面代码以一个尺寸为_n×n_的图像为例，先将图像展开成一行，即_1×_\(n^{2\)的尺寸。最后将_1×_\(n}2\)尺寸的图像通过线性层，转化为_1×10_尺寸的图像。

import torch
import torchvision
from torch.utils.data import dataloader
from torch import nn
from torch.nn import linear

dataset=torchvision.datasets.cifar10("./dataset",train=false,download=true,transform=torchvision.transforms.totensor())
dataloder=dataloader(dataset,batch_size=64)

# for data in dataloder:
#     imgs,targets = data
#     #print(imgs.shape)   #[run] torch.size([64, 3, 32, 32])
#
#     #我们的目标是把图像尺寸变成1×1×1×根据前面计算得出的数,下面进行转换
#     output=torch.reshape(imgs,(1,1,1,-1))
#     #print(output.shape)  #[run] torch.size([1, 1, 1, 196608])

#根据上面output得出的196608尺寸数据，构造神经网络结构
class demo(nn.module):
    def __init__(self):
        super(demo,self).__init__()
        self.linear1=linear(in_features=196608,out_features=10)

    def forward(self,input):
        output=self.linear1(input)
        return output

#调用神经网络
demo=demo()

for data in dataloder:
    imgs,targets=data
    output=torch.reshape(imgs,(1,1,1,-1))

    output=demo.forward(output)
    print(output.shape)  #[run] torch.size([1, 1, 1, 10])

由此，成功将_1×1×1×196608_尺寸的图像转化为_1×1×1×10_尺寸的图像

注意：

可以用torch.flatten() 函数将图像展开成一行，即替换第33行的代码output=torch.reshape(imgs,(1,1,1,-1))，为：

output=torch.flatten(imgs)
# print(output.shape)  #[run] torch.size([196608])

torch.flatten() 和torch.reshape() 的区别：
- torch.flatten更方便，可以直接把图像变成一行
- torch.reshape功能更强大，可任意指定图像尺寸

4. dropout layers

主要作用：在训练的过程中随机把一些input（输入的tensor数据类型）变成0。变成0的概率由\(p\)决定

class torch.nn.dropout(p=0.5, inplace=false)

变成0的主要原因是防止过拟合

5. sparse layers

nn.embedding

主要用于自然语言处理中

class torch.nn.embedding(num_embeddings, embedding_dim, padding_idx=none,
      max_norm=none, norm_type=2.0, scale_grad_by_freq=false, sparse=false,
      _weight=none, _freeze=false, device=none, dtype=none)