深度学习是基于神经网络的机器学习
　　深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分，主要原因是神经网络模型可以使用误差反向传播算法，较好地解决了深度学习中的贡献度分配问题。从历史发展看，神经网络诞生于1943年提出的MP模型，深度学习概念由Hinton于2006年正式提出。经过多年的发展，问世了如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、生成对抗网络（GAN）等经典的深度学习算法。2017年，Transformer架构的出现，再次开启了大语言模型快速发展时期。本报告聚焦2017年之前出现的经典深度学习算法，并进行深度拆解和剖析。
　　卷积神经网络（CNN）：卷积+汇聚+全连接
　　典型的卷积神经网络是由卷积层、汇聚层、全连接层交叉堆叠而成。其中，卷积层利用卷积核实现特征提取，并在每个卷积层后引入非线性激活函数，确保整个网络的非线性；汇聚层通过最大汇聚或平均汇聚的方法，进一步压缩数据和参数量；全连接层采用神经网络中的前馈网络结构，经计算后得到最终输出结果。参数训练方面，卷积神经网络采用误差反向传播算法。应用方面，卷积神经网络应用已从图像识别逐渐向其他领域拓展。
　　循环神经网络（RNN）：具有短期记忆的神经网络
　　循环神经网络是一类具有短期记忆能力的神经网络，其记忆来自于神经元以环路的方式接受自身的历史信息，为整个网络提供了一定的记忆能力，增强了其计算性能。但是，循环神经网络难以建模长时间间隔状态之间的依赖关系。为了解决这一问题，长短时记忆网络（LSTM）在循环神经网络的基础上引入了新的内部控制状态和门控机制。前者能够记录到当前时刻为止的历史信息，延长了网络记忆；后者包括遗忘门、输入门和输出门，分别控制“记忆”的遗忘、保存和输出细节。
　　生成对抗网络（GAN）：生成器和判别器的对抗与学习
　　生成对抗网络突破了以往的概率模型必须通过最大似然估计来学习参数的限制，通过对抗训练的方式使得生成网络产生的样本服从真实数据分布。GAN主要由生成网络和判别网络组成。其中，判别网络目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生；生成网络目标是尽量生成判别网络无法区分来源的样本。这两个目标相反的网络不断地进行交替对抗训练。最终训练出生成结果真假难辨的生成器。
　　深度强化学习（DRL）：深度学习与强化学习的结合
　　强化学习（RL）指的是从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习通过智能体不断与环境进行交互，并根据经验调整其策略来最大化其长远的所有奖励的累积值。强化学习可分为基于值函数的方法、基于策略函数的方法，以及两者的结合。深度强化学习是深度学习与强化学习的结合，其中强化学习用来定义问题和优化目标，深度学习用来解决策略和值函数的建模问题。最早的深度强化学习模型是2013年提出的深度Q网络。
　　风险提示：宏观经济波动，技术进步不及预期。本报告内容均基于客观信息整理，不构成投资建议。
　　

研究报告全文：证券研究报告计算机GPT系列经典深度学习算法拆解华泰研究计算机增持维持2023年3月12日中国内地专题研究研究员谢春生深度学习是基于神经网络的机器学习SACNoS0570519080006xiechunshenghtsccomSFCNoBQZ938862129872036深度学习可以概括为特征的抽象和结果的预测深度学习与神经网络密不可分主要原因是神经网络模型可以使用误差反向传播算法较好地解决了深联系人袁泽世PhD度学习中的贡献度分配问题从历史发展看神经网络诞生于1943年提出SACNoS0570122080053yuanzeshihtsccom的MP模型深度学习概念由Hinton于2006年正式提出经过多年的发展862128972228问世了如卷积神经网络CNN循环神经网络RNN长短时记忆网络LSTM生成对抗网络GAN等经典的深度学习算法2017年行业走势图Transformer架构的出现再次开启了大语言模型快速发展时期本报告聚焦2017年之前出现的经典深度学习算法并进行深度拆解和剖析计算机沪深30018卷积神经网络CNN卷积汇聚全连接8典型的卷积神经网络是由卷积层汇聚层全连接层交叉堆叠而成其中卷积层利用卷积核实现特征提取并在每个卷积层后引入非线性激活函数3确保整个网络的非线性汇聚层通过最大汇聚或平均汇聚的方法进一步压14缩数据和参数量全连接层采用神经网络中的前馈网络结构经计算后得到24最终输出结果参数训练方面卷积神经网络采用误差反向传播算法应用Mar-22Jul-22Nov-22Mar-23方面卷积神经网络应用已从图像识别逐渐向其他领域拓展资料来源Wind华泰研究循环神经网络RNN具有短期记忆的神经网络循环神经网络是一类具有短期记忆能力的神经网络其记忆来自于神经元以环路的方式接受自身的历史信息为整个网络提供了一定的记忆能力增强了其计算性能但是循环神经网络难以建模长时间间隔状态之间的依赖关系为了解决这一问题长短时记忆网络LSTM在循环神经网络的基础上引入了新的内部控制状态和门控机制前者能够记录到当前时刻为止的历史信息延长了网络记忆后者包括遗忘门输入门和输出门分别控制记忆的遗忘保存和输出细节生成对抗网络GAN生成器和判别器的对抗与学习生成对抗网络突破了以往的概率模型必须通过最大似然估计来学习参数的限制通过对抗训练的方式使得生成网络产生的样本服从真实数据分布GAN主要由生成网络和判别网络组成其中判别网络目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生生成网络目标是尽量生成判别网络无法区分来源的样本这两个目标相反的网络不断地进行交替对抗训练最终训练出生成结果真假难辨的生成器深度强化学习DRL深度学习与强化学习的结合强化学习RL指的是从与环境交互中不断学习的问题以及解决这类问题的方法强化学习通过智能体不断与环境进行交互并根据经验调整其策略来最大化其长远的所有奖励的累积值强化学习可分为基于值函数的方法基于策略函数的方法以及两者的结合深度强化学习是深度学习与强化学习的结合其中强化学习用来定义问题和优化目标深度学习用来解决策略和值函数的建模问题最早的深度强化学习模型是2013年提出的深度Q网络风险提示宏观经济波动技术进步不及预期本报告内容均基于客观信息整理不构成投资建议免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1计算机正文目录深度学习是基于神经网络的机器学习3关系梳理人工智能机器学习深度学习3从生物神经网络到人工神经网络4深度学习与神经网络发展历史1943-20175前馈神经网络最早发明的简单人工神经网络6反向传播算法神经网络参数学习的重要算法7自动梯度计算变手动计算为自动计算7CNN卷积汇聚全连接9典型的CNNLeNet-5和AlexNet12RNN具有短期记忆的神经网络13LSTM将短期记忆进一步延长14GAN生成器和判别器的对抗与学习15深度强化学习深度学习与强化学习的结合16深度学习框架深度学习的工具库17Transformer基于自注意力机制的新兴架构18风险提示19免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2计算机深度学习是基于神经网络的机器学习深度学习可以概括为特征的抽象和结果的预测深度学习是将原始的数据特征通过多步的特征转换得到一种更高层次更抽象的特征表示并进一步输入到预测函数得到最终结果深度学习需要解决的关键问题是贡献度分配问题CreditAssignmentProblemCAP即一个系统中不同的组件component或其参数对最终系统输出结果的贡献或影响深度学习的目标是让模型自动学习出好的特征表示从而最终提升预测模型的准确率深度学习采用的模型主要是神经网络模型主要原因是神经网络模型可以使用误差反向传播算法Backpropagation能够比较好地解决贡献度分配问题只要是超过一层的神经网络都会存在贡献度分配问题因此可以将超过一层的神经网络都看作深度学习模型图表1深度学习的数据处理流程原始数据底层特征中层特征高层特征预测结果表示学习深度学习资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究深度学习逐渐超过表示学习范畴用于处理更加复杂的推理决策等问题表示学习RepresentationLearning可以自动地学习出有效的特征即表示并提高最终机器学习模型的性能早期深度学习主要用来进行表示学习但目前更多地用来处理更加复杂的推理决策等问题概括来说深度学习是将表示学习预测模型的学习进行端到端的学习中间不需要人工干预其中端到端学习End-to-EndLearning也称端到端训练是指在学习过程中不进行分模块或分阶段训练直接优化任务的总体目标关系梳理人工智能机器学习深度学习人工智能包括机器学习机器学习包含深度学习人工智能AI的重要组成部分是机器学习ML而神经网络NN是ML的一个子领域深度学习可以看做是神经网络的分支使用了更复杂和更深层次的网络结构如卷积神经网络CNN来处理更高维度和更抽象的数据如图像声音和文本此外逐渐兴起的强化学习也是机器学习的一个分支深度学习与强化学习可以相互结合称为深度强化学习DRL图表2人工智能机器学习深度学习关系梳理AI人工智能ML机器学习神经网络DL深度学习DRL深度强化学习RL强化学习资料来源TheHistoryBeganfromAlexNetAComprehensiveSurveyonDeepLearningApproachesZahangir2018DeepReinforcementLearningYuxiLi2017华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3计算机从生物神经网络到人工神经网络神经网络是一种模仿生物神经系统的人工智能算法通常机器学习中的神经网络指的是人工神经网络人工神经网络是为模拟人脑神经网络而设计的一种计算模型它从结构实现机理和功能上模拟人脑神经网络人工神经网络与生物神经元类似由多个节点人工神经元互相连接而成可以用来对数据之间的复杂关系进行建模不同节点之间的连接被赋予了不同的权重每个权重代表了一个节点对另一个节点的影响大小在对神经网络进行训练时不断优化神经元之间的权重使得输出的结果逐渐接近预期的结果最终确认整个网络的参数并用于执行下游任务图表3生物神经元与人工神经元对比相似性生物神经元人工神经元b资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究常用的神经网络结构包括前馈网络记忆网络和图网络1前馈网络各个神经元按接收信息的先后分为不同的神经层整个网络中的信息朝一个方向传播没有反向的信息传播2记忆网络也称为反馈网络网络中的神经元不但可以接收其他神经元的信息也可以接收自己的历史信息具有记忆功能记忆神经网络中的信息传播可以是单向或双向3图网络是定义在图结构数据上的神经网络每个节点都由一个或一组神经元构成节点之间的连接可以是有向的也可以是无向的每个节点可以收到来自相邻节点或自身的信息图网络是前馈网络和记忆网络的泛化图表4常用的神经网络结构前馈网络记忆网络图网络资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4计算机深度学习与神经网络发展历史1943-2017神经网络诞生于1943年深度学习崛起于2006年1943年心理学家McCulloch和数学家Pitts最早提出了一种基于简单逻辑运算的人工神经网络MP模型开启了人工神经网络研究的序幕1986年Hinton提出第二代神经网络并利用误差的反向传播算法来训练模型该算法对神经网络的训练具有重要意义1989年YannLeCun等提出卷积神经网络CNN用来识别手写体1997年循环神经网络RNN的改进型长短时记忆网络LSTM被提出2006年Hinton首次提出了深度置信网络DeepBeliefNetworkDBN和深度学习的概念2014年生成对抗网络GAN的提出是深度学习的又一突破性进展2016年AlphaGo击败围棋世界冠军李世石将深度学习推向高潮图表5深度学习发展历史WGANAlphaGoZero2017CapsNetAlphaGo2016InfoGANBNJMTFasterR-CNNDCNResNet2015GNMTMinsky专著感知器出版支出单层感知器不2014GoogleNet能解决异或回路问题且当时计算能力无法ClarifaiVGGNet满足神经网络计算需求2013R-CNNLeNet2012GAN1969ReLU1998DropoutLSTM20102011AlexNet单层感知器19891997Xavier19582006万能逼近定理19431986卷积神经网络深度信念网MP神经元数学模型反向传播算法快速发展潮爆发期浅层学习浪潮第一代神经网络第二代神经网络第三代神经网络注最大圆圈表示深度学习热度上升与下降的关键转折点实心小圈圈的大小表示深度学习的突破大小斜向上的直线表示深度学习热度正处于上升期斜向下的直线表示下降期资料来源深度学习研究综述张荣2018华泰研究本报告以2016年之前几种典型的深度学习算法为研究对象对其进行深度拆解和分析主要算法包括卷积神经网络CNN循环神经网络RNN生成对抗网络GAN深度强化学习DeepReinforcementLearningDRL此外深度学习还包括很多其他算法和模型例如深度信念网络概率图模型序列生成模型等免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5计算机前馈神经网络最早发明的简单人工神经网络前馈神经网络是最早发明的简单人工神经网络神经网络是一种典型的分布式并行处理模型通过大量神经元之间的交互来处理信息每一个神经元都发送兴奋和抑制的信息到其他神经元前馈神经网络FNN也经常称为全连接神经网络FullyConnectedNeuralNetworkFCNN或多层感知器Multi-LayerPerceptronMLP在前馈神经网络中各神经元分别属于不同的层每一层的神经元可以接收前一层神经元的信号并产生信号输出到下一层其中第0层称为输入层最后一层称为输出层其他中间层称为隐藏层整个网络中无反馈信号从输入层向输出层单向传播图表6多层前馈神经网络输入层隐藏层输出层资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究通用近似定理保证了前馈神经网络的强拟合能力前馈神经网络具有很强的拟合能力常见的连续非线性函数都可以用前馈神经网络来近似该能力由通用近似定理来保证即对于具有线性输出层和至少一个使用激活函数的隐藏层组成的前馈神经网络只要其隐藏层神经元的数量足够它可以以任意的精度来近似任何一个定义在实数空间中的有界闭集函数前馈神经网络标志人工智能从高度符号化的知识期向低符号化的学习期开始转变前馈神经网络在20世纪80年代后期就已被广泛使用大部分都采用两层网络结构即一个隐藏层和一个输出层神经元的激活函数基本上都是Sigmoid函数使用的损失函数大多数是平方损失前馈神经网络是一种连接主义的典型模型标志这人工智能从高度符号化的知识期向低符号化的学习期开始转变图表7神经网络常用的激活函数资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读6计算机反向传播算法神经网络参数学习的重要算法反向传播算法是神经网络训练中经常使用的高效计算梯度方法神经网络参数可以通过梯度下降法来进行学习反向传播算法BackPropagationBP是经常使用的高效计算梯度方法反向传播体现在第l层的误差项可以通过第l1层的误差项计算得到通俗的解释是将输出的结果与真实结果对比计算误差损失函数并以误差降到最低为目标不断调整卷积核参数和全连接网络权重直到达到预期效果由于这种调整方向是从输出到输入逐级返回因此叫做反向传播图表8第l层的误差项可以通过第l1层的误差项计算得到根据链式法则第l层的误差项为第l层的误差项由第l1层决定相当于误差从后往前反向传播资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究自动梯度计算变手动计算为自动计算深度学习框架包含的自动梯度计算功能大大提高了模型开发效率神经网络的参数主要通过梯度下降来进行优化通常当确定了风险函数以及网络结构后可以手动计算梯度并用代码进行实现但是手动的方式一方面较为低效另一方面容易出现错误影响开发效率目前主流的深度学习框架都包含了自动梯度计算的功能开发者只需考虑网络结构并用代码实现梯度计算即可由深度学习框架来自动完成大大提高准确度和开发效率自动微分是大多数深度学习框架首选的自动计算梯度方法自动计算梯度方法包括数值微分符号微分和自动微分1数值微分指的是用数值方法来计算函数的导数2符号微分是一种基于符号计算也叫代数计算的自动求导方法是指用计算机来处理带有变量的数学表达式其输入和输出都是数学表达式不需要代入具体的值3自动微分是一种可以对程序或函数进行导数计算的方法其基本原理是所有的数值计算可以分解为一些基本操作然后利用链式法则来自动计算一个复合函数的梯度按照计算导数的顺序自动微分可以分为两种模式前向模式和反向模式自动微分可以直接在原始程序代码进行微分因此成为目前大多数深度学习框架的首选免责声明和披露以及分析师声明是报告的一部分请务必一起阅读7计算机图表9自动梯度计算方法对比基本原理优点缺点数找到合适的扰动x较为困难值最直接的计算方法便于x过大或过小都会使得导数计算微理解不准确因此数值微分的实用分性比较差1编译时间较长2一般需符要设计一种专门的语言来表示数号符号计算和平台无关可学表达式并且要对符号进行预微以在CPU或GPU上运行先声明3很难对程序进行分调试无须事先编译在程序运行阶段边计算边记录计算无明显缺点是目前大多数深度图计算图上的局部梯度学习框架的首选分解为基本操作可直接代入数值进行计算自形成计算图动微分资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读8计算机CNN卷积汇聚全连接典型的卷积神经网络是由卷积层汇聚层全连接层交叉堆叠而成其中一个卷积块包括连续M个卷积层和b个汇聚层M通常设置为25b为0或1一个卷积网络中可以堆叠N个连续的卷积块然后在后面接着K个全连接层N的取值区间比较大比如1100或者更大K一般为02CNN能够有效的将大数据量的图片降维成小数据量并有效的保留图片特征图表10常用的卷积网络整体结构输入卷积ReLU汇聚层全连接层MbbN形象解释资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究卷积层利用卷积核实现特征提取卷积层的作用是提取局部区域的特征不同的卷积核相当于不同的特征提取器反之提取不同的特征需要不同的卷积核输入原图经过卷积核提取后即得到特征映射FeatureMap每个特征映射可以作为一类抽取的图像特征目前卷积网络的整体结构趋向于使用更小的卷积核比如11和33以及更深的结构比如层数大于50免责声明和披露以及分析师声明是报告的一部分请务必一起阅读9计算机图表11卷积核用于特征提取形象解释数学解释资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究每个卷积层后引入非线性激活函数确保整个网络的非线性常用的激活函数为线性整流单元RectifiedLinearUnitReLU其实质是将特征图上所有负数变成0而正数保持不变其他常用的激活函数还有Sigmoid函数双曲正切函数tanh激活函数使得神经网络模型具有非线性从而可以表示非线性的函数处理更加复杂的任务图表12常用的激活函数图资料来源神经网络与深度学习邱锡鹏ISBN9787111649687easyAI华泰研究汇聚层进一步压缩数据和参数量汇聚层PoolingLayer也叫子采样层SubsamplingLayer或池化层其作用是进行特征选择降低特征数量减少参数数量典型的汇聚层是将每个特征映射划分为22大小的不重叠区域然后使用最大汇聚的方式进行下采样即用22区域的最大值代替整个区域的值此外还可以采用22区域的平均值来代替整个区域值以图像为例汇聚层的使用依据包括一方面图像中相邻的像素倾向于具有相似的值另一方面对图片降维通常不会影响识别结果值得注意的是由于卷积的操作性越来越灵活比如不同的步长汇聚层的作用也变得越来越小因此目前比较流行的卷积网络中汇聚层的比例有所降低免责声明和披露以及分析师声明是报告的一部分请务必一起阅读10计算机图表13最大汇聚与平均汇聚示意图4301中4最大选取4代表这个区域最大汇聚选取最大值平均汇聚计算平均值6521平均值为35选取35代表这个区域资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究全连接层采用神经网络中的前馈网络结构将池化后的结果按顺序排成一列输入全连接层全连接层把相邻两层的神经元全部交叉相联结两层之间所有神经元都有相应的权重经计算后得到最终输出结果通常全连接层在卷积神经网络尾部图表14全连接层示意图资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究卷积神经网络参数可利用误差反向传播算法来确定卷积神经网络可以通过误差反向传播Backpropagation和梯度下降等算法进行参数学习包括确定卷积核参数和全连接网络权重等卷积神经网络应用从图像识别逐渐向其他领域拓展卷积神经网络的前身是层级化人工神经网络神经认知模型该模型由日本学者福岛邦彦受生物视觉系统研究启发而提出用来处理手写字符识别等问题随着各类基于CNN理念的新模型不断被提出CNN在语音识别自然语言处理人脸识别运动分析医学诊断等多个方面均有突破免责声明和披露以及分析师声明是报告的一部分请务必一起阅读11计算机典型的CNNLeNet-5和AlexNetLeNet-5是法国学者YannLeCun提出的基于梯度学习的卷积神经网络算法LeNet-5共有7层包括3个卷积层2个汇聚层1和全连接层和1个输出层接受的输入图像大小为32321024输出对应10个类别的得分基于LeNet-5的手写数字识别系统在20世纪90年代被美国很多银行使用用来识别支票上面的手写数字图表15LeNet-5网络结构资料来源Gradient-basedlearningappliedtodocumentrecognitionYLecun1998华泰研究AlexNet是第一个现代深度卷积网络模型AlexNet首次使用了现代深度卷积网络的技术方法比如使用GPU进行并行训练采用ReLU作为非线性激活函数使用数据增强来提高模型准确率等AlexNet赢得了2012年ImageNet图像分类竞赛的冠军AlexNet模型包括5个卷积层3个汇聚层和3个全连接层由于网络规模超出了当时的单个GPU的内存限制AlexNet将网络拆为两半分别放在两个GPU上GPU间只在某些层进行通信图表16AlexNet网络结构资料来源ImageNetclassificationwithdeepconvolutionalneuralnetworksAlexKrizhevsk2017华泰研究除LeNet-5和AlexNet其他的CNN模型还包括VGGNetZFNetGoogLeNetResNetDenseNet等免责声明和披露以及分析师声明是报告的一部分请务必一起阅读12计算机RNN具有短期记忆的神经网络循环神经网络RNN是一类具有短期记忆能力的神经网络在循环神经网络中神经元不但可以接受其他神经元的信息也可以接受自身的历史信息形成具有环路的网络结构和前馈神经网络相比循环神经网络更加符合生物神经网络的结构循环神经网络的短期记忆能力提供了一定的存储功能因此其计算能力更为强大理论上循环神经网络可以近似任意的非线性动力系统图表17循环神经网络引入了短期记忆功能原理图形象展示St-1StSt1神经网络在时间层面建立起了联系资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究RNN不同的输入输出关系组合能够解决不同的下游任务时序上的层级结构赋予了RNN更灵活的输入输出关系用于解决不同问题例如一对多的结构可用于文本生成多对一的结构可用于文本分类多对多的结构可用于问答和机器翻译等图表18RNN不同的输入输出关系组合和应用OnetooneOnetomanyManytooneManytomanyManytomany一对一一对多多对一多对多多对多文本生成文本分类问答机器翻译Tag生成例如对每一个词输出名词或动词等词性资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究循环神经网络的参数可以通过梯度下降方法来进行学习在循环神经网络中主要有两种计算梯度的方式随时间反向传播BPTT算法和实时循环学习RTRL算法随时间反向传播算法的主要思想是通过类似前馈神经网络的误差反向传播算法来计算梯度实时循环学习则是通过前向传播的方式来计算梯度虽然2017年Transformer模型和注意力机制的出现带来了一波新算法的崛起但RNN在小数据集低算力情况下依然较为有效免责声明和披露以及分析师声明是报告的一部分请务必一起阅读13计算机LSTM将短期记忆进一步延长LSTM引入门控机制解决RNN的长程依赖问题循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题也称为长程依赖问题可以简单理解为参数无法正常更新梯度变得很大或变为0很难建模长时间间隔状态之间的依赖关系长短时记忆网络LongShort-termMemoryLSTM引入门控机制很好了解决了RNN的上述问题LSTM网络特点在于新内部状态和门控机制的引入1新的内部状态与RNN相比LSTM网络引入一个新的内部状态internalstatect专门进行线性的循环信息传递在每个时刻tLSTM网络的内部状态ct记录了到当前时刻为止的历史信息相当于延长了网络的记忆特性2门控机制引入遗忘门输入门和输出门其中遗忘门控制上一个时刻的内部状态需要遗忘多少信息输入门控制当前时刻的候选状态有多少信息需要保存输出门控制当前时刻的内部状态有多少信息需要输出给外部状态参数训练方面虽然相比RNNLSTM引入了更多参数矩阵但依然可以使用梯度下降算法进行参数更新图表19LSTM引入了新的内部状态和门控机制原理图st-1stRNNLSTM形象展示在RNN基础上增加了新的内部状态变量c用来实现更长的短时记忆资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究循环神经网络的隐状态s为短期记忆新内部状态c具有更长的记忆循环神经网络中的隐状态s存储了历史信息可以看作一种记忆在简单循环网络中隐状态每个时刻都会被重写因此是一种短期记忆在神经网络中长期记忆可以看作网络参数隐含了从训练数据中学到的经验其更新周期要远远慢于短期记忆在LSTM网络中记忆单元c可以在某个时刻捕捉到某个关键信息并有能力将此关键信息保存一定的时间间隔其保存信息的生命周期要长于短期记忆s但又远远短于长期记忆因此称为长的短期记忆免责声明和披露以及分析师声明是报告的一部分请务必一起阅读14计算机GAN生成器和判别器的对抗与学习生成对抗网络通过对抗训练的方式使得生成网络产生的样本服从真实数据分布生成对抗网络GAN突破了以往的概率模型必须通过最大似然估计来学习参数的限制通俗的解释是许多深度生成模型其目的在于从底层构造分布函数并通过设定训练目标来训练模型参数但对于更复杂的情况构造函数并不容易且计算困难而GAN采用了另一种思维即放弃构造精确地分布函数转而通过对抗训练出另一个模型来不断逼近想要的分布直到生成真假难辨的结果GAN主要由生成网络和判别网络组成在生成对抗网络中有两个网络进行对抗训练1判别网络目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生2生成网络目标是尽量生成判别网络无法区分来源的样本这两个目标相反的网络不断地进行交替对抗训练最终如果判别网络再也无法判断出一个样本是真实存在还是生成的那么也就等价于生成网络可以生成符合真实数据分布的样本该生成网络就是可以执行下游任务的模型图表20GAN网络结构图资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究训练过程需要平衡生成网络与判别网络的能力和单目标的优化任务相比生成对抗网络的两个网络的优化目标相反训练过程往往不太稳定需要平衡两个网络的能力通俗的说对于判别网络其初始判别能力不能太强否则难以提升生成网络的能力同时判别网络的判别能力也不能太弱否则训练出的生成网络效果也会受限理想状态下每次迭代中判别网络比生成网络的能力强一些通过不断地迭代来逐渐拔高生成网络的能力GAN有很多变种广泛应用于众多领域据Github数据截至2018年9月GAN的变种模型已超500种GAN模型在众多领域得到广泛应用例如图像数据集自动生成文字转照片照片修复生成3D模型等免责声明和披露以及分析师声明是报告的一部分请务必一起阅读15计算机深度强化学习深度学习与强化学习的结合深度强化学习是深度学习与强化学习的结合其中强化学习用来定义问题和优化目标深度学习用来解决策略和值函数的建模问题然后使用误差反向传播算法来优化目标函数深度强化学习在一定程度上具备解决复杂问题的通用智能强化学习指的是从与环境交互中不断学习的问题以及解决这类问题的方法强化学习ReinforcementLearningRL也叫增强学习强化学习通过智能体不断与环境进行交互并根据经验调整其策略来最大化其长远的所有奖励的累积值相比其他机器学习方法强化学习更接近生物学习的本质可以应对多种复杂的场景从而更接近通用人工智能系统的目标和深度学习类似强化学习中的关键问题也是贡献度分配问题每一个动作并不能直接得到监督信息需要通过整个模型的最终监督信息奖励得到且有一定的延时性强化学习可分为基于值函数的方法基于策略函数的方法以及两者的结合其中基于值函数的方法包括动态规划时序差分学习等基于策略函数的方法包括策略梯度无梯度法等两者结合的方法包括演员-评论员算法一般而言基于值函数的方法在策略更新时可能会导致值函数的改变比较大对收敛性有一定影响基于策略函数的方法在策略更新时更加更平稳但因为策略函数的解空间比较大难以进行充分的采样导致方差较大并容易收敛到局部最优解演员-评论员算法通过融合两种方法取长补短有着更好的收敛性图表21不同强化学习算法树及其之间的关系强化学习策略搜索值函数估计无梯度方法策略梯度方法蒙特卡洛方法动态规划算法REINFORCE算法时序差分学习法策略迭代算法值迭代算法SARSA算法演员-评论员算法Q学习算法资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究第一个强化学习和深度学习结合的模型是深度Q网络2013年DeepMind的Mnih等人提出了深度Q网络DQNDQN模型相对简单仅面向有限的动作空间但依然在一款名为Atari游戏上取得了超越了人类水平随着深度强化学习的快速发展更多基于DQN的改进模型开始出现例如双Q网络优先级经验回放决斗网络等目前深度强化学习更多是同时使用策略网络和值网络来近似策略函数和值函数免责声明和披露以及分析师声明是报告的一部分请务必一起阅读16计算机深度学习框架深度学习的工具库深度学习框架帮助构建训练和部署深度学习模型在深度学习中一般通过误差反向传播算法来进行参数学习采用手工方式来计算梯度和编写代码的方式较为低效此外深度学习模型需要较多的计算机资源且存在CPU和GPU之间不断进行切换的需求开发难度较大因此一些支持自动梯度计算无缝CPU和GPU切换等功能的深度学习框架应运而生比较有代表性的框架包括TheanoCaffeTensorFlowPytorch飞桨PaddlePaddleChainer和MXNet等图表22代表性的深度学习框架及其特点深度学习框架名称描述特点备注Theano由蒙特利尔大学的Python工具包用来高Theano可以透明地使用Theano项目目前已停止维护效地定义优化和计算张量数据的数学表GPU和高效的符号微分达式Caffe由加州大学伯克利分校开发的针对卷积神Caffe用C和Python实现Caffe2已经被并入经网络的计算框架主要用于计算机视觉但可以通过配置文件来实现PyTorch中所要的网络结构不需要编码TensorFlow由Google公司开发的深度学习框架可TensorFlow的计算过程使用TensorFlow10版本采用静态计以在任意具备CPU或者GPU的设备上运数据流图来表示算图20版本之后也支持动态行TensorFlow的名字来源于其计算过程计算图中的操作对象为多维数组即张量TensorPyTorch由FacebookNVIDIATwitter等公司开基于动态计算图的框架在发维护的深度学习框架其前身为Lua语需要动态改变神经网络结构言的Torch的任务中有着明显的优势飞桨PaddlePaddle由百度开发的一个高效和可扩展的深度学飞桨提供强大的深度学习并国产深度学习框架习框架同时支持动态图和静态图行技术可以同时支持稠密参数和稀疏参数场景的超大规模深度学习并行训练支持千亿规模参数和数百个节点的高效并行训练MindSpore由华为开发的一种适用于端边云场景的新MindSpore为AscendAI处国产深度学习框架型深度学习训练推理框架理器提供原生支持以及软硬件协同优化Chainer最早采用动态计算图的深度学习框架其和TensorflowTheano核心开发团队为来自日本的一家机器学习Caffe等框架使用的静态计创业公司PreferredNetworks算图相比动态计算图可以在运行时动态地构建计算图因此非常适合进行一些复杂的决策或推理任务MXNet由亚马逊华盛顿大学和卡内基梅隆大MXNet支持混合使用符号和学等开发维护的深度学习框架命令式编程来最大化效率和生产率并可以有效地扩展到多个GPU和多台机器资料来源神经网络与深度学习邱锡鹏ISBN9787111649687华泰研究基于以上基础框架人们开发了建立在框架之上的高度模块化神经网络库进一步简化构建神经网络模型的过程比较著名的模块化神经网络框架有1基于TensorFlow和Theano的KerasKeras已被集成到TensorFlow20版本中2基于Theano的Lasagne3面向图结构数据的DGL免责声明和披露以及分析师声明是报告的一部分请务必一起阅读17计算机Transformer基于自注意力机制的新兴架构Transformer是一种基于自注意力机制的编码器-解码器深度学习模型2017年6月GoogleBrain在神经信息处理系统大会NeurIPS发表论文Attentionisallyouneed首次提出了基于自我注意力机制self-attention来提高训练速度的Transformer模型将其用于自然语言处理Transformer架构由编码器和解码器Encoder-Decoder两个部分组成每个部分包含多个子层如多头自注意力前馈神经网络和归一化等Transformer架构的优点是1可以并行处理输入序列的所有元素大大提高训练速度2不需要依赖循环或卷积结构能够捕捉长距离的依赖关系3可以通过预训练和微调的方式适应不同的任务因此Transformer一经问世便大有取代传统CNNRNN的趋势图表23Transformer模型中的encoer-decoder架构图表24Transformer模型架构输出概率归一化指数函数输出线性化向量相加归一化编码器解码器前馈神经网络编码器解码器向量相加归一化向量相加归一化多头自注意力编码器解码器前馈神经网络编码器解码器向量相加归一化向量相加归一化编码器解码器带掩模的多头自注意力层多头自注意力编码器解码器位置编码输入位置编码输入向量输出向量资料来源AttentionisallyouneedAshishVaswani2017华泰研究资料来源AttentionisallyouneedAshishVaswani2017华泰研究Transformer成为现代深度学习大模型的基础架构其衍生版本约60个图表25Transformer家族树相同颜色代表近似家族资料来源TransformerModelsAnIntroductionandCatalogXavierAmatriain2023华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读18计算机图表26Transformer系列时间线和参数情况相同颜色代表近似family资料来源TransformerModelsAnIntroductionandCatalogXavierAmatriain2023华泰研究图表27提及公司列表公司代码公司简称GOOGLUS谷歌MSFTUS微软METAUSMetaFacebookNVDUSNVIDIA未上市OpenAIAMZNUS亚马逊BIDUUS百度未上市华为资料来源Bloomberg华泰研究风险提示宏观经济波动若宏观经济波动产业变革及新技术的落地节奏或将受到影响宏观经济波动还可能对AI投入产生负面影响从而导致整体行业增长不及预期技术进步不及预期若AI技术和大模型技术进步不及预期或将对相关的行业落地情况产生不利影响本报告内容均基于客观信息整理不构成投资建议免责声明和披露以及分析师声明是报告的一部分请务必一起阅读19计算机免责声明分析师声明本人谢春生兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见彼以往现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬一般声明及披露本报告由华泰证券股份有限公司已具备中国证监会批准的证券投资咨询业务资格以下简称本公司制作本报告所载资料是仅供接收人的严格保密资料本报告仅供本公司及其客户和其关联机构使用本公司不因接收人收到本报告而视其为客户本报告基于本公司认为可靠的已公开的信息编制但本公司及其关联机构以下统称为华泰对该等信息的准确性及完整性不作任何保证本报告所载的意见评估及预测仅反映报告发布当日的观点和判断在不同时期华泰可能会发出与本报告所载意见评估及预测不一致的研究报告同时本报告所指的证券或投资标的的价格价值及投资收入可能会波动以往表现并不能指引未来未来回报并不能得到保证并存在损失本金的可能华泰不保证本报告所含信息保持在最新状态华泰对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司不是FINRA的注册会员其研究分析师亦没有注册为FINRA的研究分析师不具有FINRA分析师的注册资格华泰力求报告内容客观公正但本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽该等观点建议并未考虑到个别投资者的具体投资目的财务状况以及特定需求在任何时候均不构成对客户私人投资建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素对依据或者使用本报告所造成的一切后果华泰及作者均不承担任何法律责任任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效除非另行说明本报告中所引用的关于业绩的数据代表过往表现过往的业绩表现不应作为日后回报的预示华泰不承诺也不保证任何预示的回报会得以实现分析中所做的预测可能是基于相应的假设任何假设的变化可能会显著影响所预测的回报华泰及作者在自身所知情的范围内与本报告所指的证券或投资标的不存在法律禁止的利害关系在法律许可的情况下华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易为该公司提供投资银行财务顾问或者金融产品等相关服务或向该公司招揽业务华泰的销售人员交易人员或其他专业人士可能会依据不同假设和标准采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和或交易观点华泰没有将此意见及建议向报告所有接收者进行更新的义务华泰的资产管理部门自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策投资者应当考虑到华泰及或其相关人员可能存在影响本报告观点客观性的潜在利益冲突投资者请勿将本报告视为投资或其他决定的唯一信赖依据有关该方面的具体披露请参照本报告尾部本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布的机构或人员也并非意图发送发布给因可得到使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员本报告版权仅为本公司所有未经本公司书面许可任何机构或个人不得以翻版复制发表引用或再次分发他人无论整份或部分等任何形式侵犯本公司版权如征得本公司同意进行引用刊发的需在允许的范围内使用并需在使用前获取独立的法律意见以确定该引用刊发符合当地适用法规的要求同时注明出处为华泰证券研究所且不得对本报告进行任何有悖原意的引用删节和修改本公司保留追究相关责任的权利所有本报告中使用的商标服务标记及标记均为本公司的商标服务标记及标记中国香港本报告由华泰证券股份有限公司制作在香港由华泰金融控股香港有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发华泰金融控股香港有限公司受香港证券及期货事务监察委员会监管是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司在香港获得本报告的人员若有任何有关本报告的问题请与华泰金融控股香港有限公司联系免责声明和披露以及分析师声明是报告的一部分请务必一起阅读20