2022年12月，OpenAI推出基于GPT-3.5的新型人工智能聊天机器人ChatGPT，在发布两个月后拥有1亿用户，成为史上用户增长最快的应用；美东时间2023年3月14日，ChatGPT的开发机构OpenAI正式推出多模态大模型GPT-4，再次拓宽了大模型的能力边界。
　　多模态大模型GPT-4是OpenAI的里程碑之作，是目前最强的文本生成模型。GPT-4是一个多模态大模型（接受图像和文本输入，生成文本），相比上一代，GPT-4具有更广泛的常识和解决问题的能力，更具创造性和协作性，可以更准确地解决难题，处理超过25000个单词的文本，允许长文内容创建、扩展对话以及文档搜索和分析等用例。
　　商业模式愈发清晰，微软Copilot引发跨时代的生产力变革。OpenAI正式宣布为第三方开发者开放ChatGPTAPI，价格降低加速场景应用爆发，并将ChatGPT直接升级为GPT-4最新版本，同时开放GPT-4的API。微软重磅发布了GPT-4平台支持的新AI功能Microsoft 365Copilot，并将其嵌入Office办公软件中。基于GPT-4的Copilot可以看作是一个办公AI助理，充分发挥出了AI对于办公场景的赋能作用，有望从根本上改变工作模式并开启新一轮生产力增长浪潮。
　　GPT-4多模态大模型将引发新一轮AI算力需求爆发。根据OpenAI发布的《AI and Compute》分析报告中指出，自2012年以来，AI训练应用的算力需求每3.4个月就会翻倍，从2012年至今，AI算力增长超过了30万倍。据OpenAI报告，ChatGPT的总算力消耗约为3640PF-days（即假如每秒计算一千万亿次，需要计算3640天），需要7-8个算力500P的数据中心才能支撑运行。多模态大模型拉动全球智能算力需求爆发。
　　作为泛AI领域的重要基础设施支持，超大规模数据中心及超算中心将深度受益新一轮AI算力需求的爆发，其数量、规模都将相应增长，整个算力基础设施产业链都将渗透加速。重点推荐中兴通讯；建议关注：交换机厂商：锐捷网络；网络解决方案商菲菱科思、智微智能、兆龙互连；光模块/光芯片：天孚通信、中际旭创、新易盛、源杰科技；液冷温控：英维克、佳力图、依米康；IDC：奥飞数据、数据港；企业通信：亿联网络；运营商：中国移动、中国电信、中国联通。
　　风险提示。中美关系及西方国家对我国实施科技领域制裁的风险；5G建设应用进度不及预期的风险；数字中国建设政策落地不及预期的风险；欧美宏观经济疲软导致科技公司海外需求不及预期的风险；AIGC监管政策收紧的风险
　　

研究报告全文：TablePage深度分析通信证券研究报告通信行业TableTitleTableGrade行业评级买入前次评级买入GPT-4引发新一轮AI算力需求爆发长期拉动流量基础设施需求报告日期2023-03-23TableSummary核心观点相对市场表现TablePicQuote2022年12月OpenAI推出基于GPT-35的新型人工智能聊天机器22人ChatGPT在发布两个月后拥有1亿用户成为史上用户增长最快14的应用美东时间2023年3月14日ChatGPT的开发机构OpenAI6正式推出多模态大模型GPT-4再次拓宽了大模型的能力边界-30322052207220922112201230323多模态大模型GPT-4是OpenAI的里程碑之作是目前最强的文本生-11成模型GPT-4是一个多模态大模型接受图像和文本输入生成文-19本相比上一代GPT-4具有更广泛的常识和解决问题的能力更具通信沪深300创造性和协作性可以更准确地解决难题处理超过25000个单词的文本允许长文内容创建扩展对话以及文档搜索和分析等用例商业模式愈发清晰微软Copilot引发跨时代的生产力变革OpenAI分析师TableAuthor李娜SAC执证号S0260523020002正式宣布为第三方开发者开放ChatGPTAPI价格降低加速场景应用010-59136683爆发并将ChatGPT直接升级为GPT-4最新版本同时开放GPT-4gzlinagfcomcn的API微软重磅发布了GPT-4平台支持的新AI功能Microsoft365Copilot并将其嵌入Office办公软件中基于GPT-4的Copilot可以分析师王亮看作是一个办公AI助理充分发挥出了AI对于办公场景的赋能作用SAC执证号S0260519060001有望从根本上改变工作模式并开启新一轮生产力增长浪潮SFCCENoBFS478GPT-4多模态大模型将引发新一轮AI算力需求爆发根据OpenAI021-38003658发布的AIandCompute分析报告中指出自2012年以来AI训gfwanglianggfcomcn请注意李娜并非香港证券及期货事务监察委员会的注册练应用的算力需求每34个月就会翻倍从2012年至今AI算力增长持牌人不可在香港从事受监管活动超过了30万倍据OpenAI报告ChatGPT的总算力消耗约为3640PF-days即假如每秒计算一千万亿次需要计算3640天需相关研究TableDocReport要7-8个算力500P的数据中心才能支撑运行多模态大模型拉动全球通信行业海内外互联网巨头2023-03-19智能算力需求爆发接连发布AI产品应用产业作为泛AI领域的重要基础设施支持超大规模数据中心及超算中心将化应用加速落地深度受益新一轮AI算力需求的爆发其数量规模都将相应增长整通信行业芯片巨头携卫星通2023-03-13个算力基础设施产业链都将渗透加速重点推荐中兴通讯建议关注信技术亮相MWC关注卫星交换机厂商锐捷网络网络解决方案商菲菱科思智微智能兆龙通信投资机会互连光模块光芯片天孚通信中际旭创新易盛源杰科技液通信行业中国厂商携新品亮2023-03-06冷温控英维克佳力图依米康IDC奥飞数据数据港企业通相MWC建议持续关注信息信亿联网络运营商中国移动中国电信中国联通算力产业链机会风险提示中美关系及西方国家对我国实施科技领域制裁的风险5G建设应用进度不及预期的风险数字中国建设政策落地不及预期的风联系人TableContacts戎志强021-38003535险欧美宏观经济疲软导致科技公司海外需求不及预期的风险AIGCrongzhiqianggfcomcn监管政策收紧的风险识别风险发现价值请务必阅读末页的免责声明133TablePageText深度分析通信重点公司估值和财务分析表Tableimpcom最新最近合理价值EPS元PExEVEBITDAxROE股票简称股票代码货币评级收盘价报告日期元股2023E2024E2023E2024E2023E2024E2023E2024E中兴通讯000063SZCNY357220230316买入423621224416851464102694114901490中国联通600050SHCNY56720230318买入76902703021001890335318530560数据来源Wind广发证券发展研究中心备注表中估值指标按照最新收盘价计算识别风险发现价值请务必阅读末页的免责声明233TablePageText深度分析通信目录索引一OPENAI正式发布多模态大模型GPT-4实现多重能力跃升6一多模态大模型GPT-4是OPENAI公司GPT系列最新一代模型6二GPT大模型通过底层技术的叠加实现组合式的创新8三GPT-4相较于CHATGPT实现多重能力跃迁9四商业模式愈发清晰微软COPILOT引发跨时代的生产力变革12二GPT-4带动多模态X多场景落地AIGC蓝海市场打开13一历经三阶段发展AIGC技术升级步入深化阶段13二生成算法预训练模型多模态推动AIGC的爆发15三多模态X多场景落地AIGC爆发商业潜力18三高算力需求带动基础设施迭代加速20一AI大模型驱动高算力需求20二云商运营商推进AI领域算力基础设施投入22三算力需求带动数据中心架构及技术加速升级25四细分受益环节29四风险提示31识别风险发现价值请务必阅读末页的免责声明333TablePageText深度分析通信图表索引图1OpenAI相关模型产品发展历程及功能列示6图2OpenAI公司推出的GPT系列模型发展历程7图3RLHF训练步骤9图4各大APP用户数破亿所用时间9图5GPT-4在多种考试专业测试上的表现优异10图6GPT-4在学术基准上表现优异10图7GPT-4指出图片笑点在于将VGA端口插在iPhone上11图8GPT-4的文本处理能力是ChatGPT的上限的8倍11图9在测试的26种语言中有24种语言下GPT-4优于GPT-35和其他大语言模型11图10Copilot在Word中根据指定话题进行内容生成13图11Copilot在PPT中根据指定的内容直接生成初稿13图12内容生产方式发展历程14图13AIGC发展历程14图14解码模块的构成16图15多模态数据之间相互转化和生成18图16AIGC应用领域根据生成内容分类19图17从AlexNet到AlphaGoZero算力增长了30万倍logscale21图18激增的算力需求远超摩尔定律21图19全球计算设备算力总规模22图20北美四大云厂商单季度资本支出亿美元及增速22图21三大运营商在算力基础设施上的相关布局规划24图222021-2030年全球超大规模数据中心市场规模十亿美元26图232015-2021年全球超大规模数据中心数量26图24位于荷兰埃姆斯哈文的谷歌数据中心的入口视图2022年运营数据中心容量为3024MW26图252023年1月8日在荷兰克朗拍摄的微软Agriport云数据中心的无人机视图2022年运营数据中心容量为2176MW26图26天河超级计算系统示意图27图27超算下游应用领域27图28全球超级数据中心数量28图29全球超级数据中心市场份额28图30InfiniBand端口封装形式朝着高工作带宽发展28图31InfiniBand互连端口封装形式和工作速率对比28表1GPT模型不同版本的参数数量及特点对比8表2三大自然语言处理器对比8表3PGCUGCAIGC的对比13识别风险发现价值请务必阅读末页的免责声明433TablePageText深度分析通信表4AIGC创作方式的三大前沿能力15表5生成算法模型15表6国外主要的AIGC预训练模型一览表17表7AIGC应用领域根据应用场景分类19表8GPT各系列大模型参数数量与训练数据量对比20表9GPT-3系列大模型参数数量与计算量量对比21识别风险发现价值请务必阅读末页的免责声明533TablePageText深度分析通信一OpenAI正式发布多模态大模型GPT-4实现多重能力跃升一多模态大模型GPT-4是OpenAI公司GPT系列最新一代模型美国OpenAI公司成立于2015年12月是全球顶级的人工智能研究机构之一创始人包括ElonMusk著名投资者SamAltman支付服务PayPal创始人PeterThiel等人OpenAI作为人工智能领域的革命者成立至今开发出多款人工智能产品2016年OpenAI推出了用于强化学习研究的工具集OpenAIGym同时推出开源平台OpenAIUniverse用于测试和评估智能代理机器人在各类环境中的表现2019年OpenAI发布了GPT-2模型可根据输入文本自动生成语言展现出人工智能创造性思维的能力2020年更新了GPT-3语言模型并在其基础上发布了OpenAICodex模型该模型可以自动生成完整有效的程序代码2021年1月OpenAI发布了OpenAICLIP用于进行图像和文本的识别分类同时推出全新产品DALL-E该模型可以根据文字描述自动生成对应的图片2022年更新的DALL-E2更是全方位改进了生成图片的质量获得了广泛好评2022年12月OpenAI推出基于GPT-35的新型AI聊天机器人ChatGPT在发布进两个月后拥有1亿用户成为史上用户增长最快的应用美东时间2023年3月14日ChatGPT的开发机构OpenAI正式推出多模态大模型GPT-4图1OpenAI相关模型产品发展历程及功能列示数据来源公司官网广发证券发展研究中心识别风险发现价值请务必阅读末页的免责声明633TablePageText深度分析通信GPTGeneralPre-Training系列模型即通用预训练语言模型是一种利用Transformer作为特征抽取器基于深度学习技术的自然语言处理模型GPT系列模型由OpenAI公司开发经历了长达五年时间的发展1其最早的产品GPT模型于2018年6月发布该模型可以根据给定的文本序列进行预测下一个单词或句子充分证明通过对语言模型进行生成性预训练可以有效减轻NLP任务中对于监督学习的依赖22019年2月GPT-2模型发布该模型取消了原GPT模型中的微调阶段变为无监督模型同时GPT-2采用更大的训练集尝试zero-shot学习通过采用多任务模型的方式使其在面对不同任务时都能拥有更强的理解能力和较高的适配性3GPT-3模型于2020年6月被发布它在多项自然语言处理任务上取得了惊人的表现并被认为是迄今为止最先进的自然语言处理模型之一GPT-3训练使用的数据集为多种高质量数据集的混合一次保证了训练质量同时该模型在下游训练时用Few-shot取代了GPT-2模型使用的zero-shot即在执行任务时给予少量样例以此提高准确度除此之外它在前两个模型的基础上引入了新的技术零样本学习即GPT-3即便没有对特定的任务进行训练也可以完成相应的任务这使得GPT-3面对陌生语境时具有更好的灵活性和适应性42022年11月OpenAI发布GPT-35模型是由GPT-3微调出来的版本采用不同的训练方式其功能更加强大基于GPT-35模型并加上人类反馈强化学习RLHF发布ChatGPT应用ChatGPT的全称为ChatGenerativePre-trainedTransformer是建立在大型语言模型基础上的对话式自然语言处理工具表现形式是一种聊天机器人程序能够学习及理解人类的语言根据聊天的上下文进行互动甚至能够完成翻译编程撰写论文编辑邮件等功能52023年3月OpenAI正式发布大型多模态模型GPT-4输入图像和文本输出文本输出此前主要支持文本现模型能支持识别和理解图像图2OpenAI公司推出的GPT系列模型发展历程数据来源OpenAI官网广发证券发展研究中心识别风险发现价值请务必阅读末页的免责声明733TablePageText深度分析通信表1GPT模型不同版本的参数数量及特点对比版本编码器数量个参数数量特点模型参数较小证明了预训练模型在自然语言处GPT12117亿理中的巨大潜力但存在较大的局限性在文本生成能力上表现极为出色可以生成具有GPT-24815亿一定逻辑连贯性并且情感色彩较为丰富的文章可以完成所有情境下绝大部分的语言处理任务GPT-317501750亿并表现出前所未有的优越性能能接受图像和文本的共同输入输出文本回复GPT-4-具有明显的图片理解能力资料来源OpenAI官网CDSN广发证券发展研究中心二GPT大模型通过底层技术的叠加实现组合式的创新由于OpenAI并没有提供关于GPT-4用于训练的数据算力成本训练方法架构等细节故我们本章主要讨论ChatGPT模型的技术路径ChatGPT模型从算法分来上来讲属于生成式大规模语言模型底层技术包括Transformer架构有监督微调训练RLHF强化学习等ChatGPT通过底层技术的叠加实现了组合式的创新GPT模型采用了由Google提出的Transformer架构Transformer架构采用自注意力机制的序列到序列模型是目前在自然语言处理任务中最常用的神经网络架构之一相比于传统的循环神经网络RNN或卷积神经网络CNNTransformer没有显式的时间或空间结构因此可以高效地进行并行计算并且Transformer具有更好的并行化能力和更强的长序列数据处理能力表2三大自然语言处理器对比版本优点缺点线性序列依赖性非常适合完成NLP任在并行计算方面存在严重缺陷处理长序列循环神经网络RNN务场景时会出现梯度消失或梯度爆炸的弊端可以网络并行学习具有较好的处理网络结构不能过深因此缺乏长距离特征捕卷积神经网络CNN高维数据的能力获的能力在并行计算能力和长距离特征捕获能Transformer力等方面都表现优异同时attention局部信息获取能力不如RNN和CNN机制可以产生更具可解释性的模型资料来源机器之心AshishVaswaniAttentionIsAllYouNeed广发证券发展研究中心ChatGPT模型采用了预训练微调的半监督学习的方式进行训练第一阶段是Pre-Training阶段通过预训练的语言模型PretrainedLanguageModel从大规模的文本中提取训练数据并通过深度神经网络进行处理和学习进而根据上下文预测生成下一个单词或者短语从而生成流畅的语言文本第二阶段是Fine-tuning阶段将已经完成预训练的GPT模型应用到特定任务上并通过少量的有标注的数据来调整模型的参数以提高模型在该任务上的表现识别风险发现价值请务必阅读末页的免责声明833TablePageText深度分析通信ChatGPT在训练中使用了RLHF人类反馈强化学习模型是GPT-3模型经过升级并增加对话功能后的最新版本2022年3月OpenAI发布InstructGPT这一版本是GPT-3模型的升级版本相较于之前版本的GPT模型InstructGPT引入了基于人类反馈的强化学习技术ReinforcementLearningwithHumanFeedbackRLHF对模型进行微调通过奖励机制进一步训练模型以适应不同的任务场景和语言风格给出更符合人类思维的输出结果RLHF的训练包括训练大语言模型训练奖励模型及RLHF微调三个步骤首先需要使用预训练目标训练一个语言模型同时也可以使用额外文本进行微调其次基于语言模型训练出奖励模型对模型生成的文本进行质量标注由人工标注者按偏好将文本从最佳到最差进行排名借此使得奖励模型习得人类对于模型生成文本序列的偏好最后利用奖励模型输出的结果通过强化学习模型微调优化最终得到一个更符合人类偏好语言模型图3RLHF训练步骤资料来源HuggingFace广发证券发展研究中心三GPT-4相较于ChatGPT实现多重能力跃迁ChatGPT于2022年11月推出之后仅用两个月时间月活跃用户数便超过1亿在短时间内积累了庞大的用户基数也是历史上增长最快的消费应用图4各大APP用户数破亿所用时间六年半五年四年半三年半一年半9个月2个月ChatGPTTikTokInstagramWhatsAppMetaTwitteriTunes数据来源和讯网广发证券发展研究中心识别风险发现价值请务必阅读末页的免责声明933TablePageText深度分析通信多模态大模型GPT-4是OpenAI的里程碑之作是目前最强的文本生成模型ChatGPT推出后的三个多月时间里OpenAI就正式推出GPT-4再次拓宽了大模型的能力边界GPT-4是一个多模态大模型接受图像和文本输入生成文本相比上一代GPT-4可以更准确地解决难题具有更广泛的常识和解决问题的能力更具创造性和协作性能够处理超过25000个单词的文本允许长文内容创建扩展对话以及文档搜索和分析等用例1GPT-4具备更高的准确性及更强的专业性GPT-4在更复杂细微的任务处理上回答更可靠更有创意在多类考试测验中以及与其他LLM的benchmark比较中GPT-4明显表现优异GPT-4在模拟律师考试GPT-4取得了前10的好成绩相比之下GPT-35是后10生物学奥赛前1美国高考SAT中GPT-4在阅读写作中拿下710分高分数学700分满分800图5GPT-4在多种考试专业测试上的表现优异图6GPT-4在学术基准上表现优异数据来源OpenAIGPT-4TechnicalReport广发证券发展数据来源OpenAIGPT-4TechnicalReport广发证券发研究中心展研究中心2GPT能够处理图像内容能够识别较为复杂的图片信息并进行解读GPT-4突破了纯文字的模态增加了图像模态的输入支持用户上传图像并且具备强大的图像能力能够描述内容解释分析图表指出图片中的不合理指出或解释梗图在OpenAI发布的产品视频中开发者给GPT-4输入了一张用VGA电脑接口给iPhone充电的图片GPT-4不仅可以可描述图片还指出了图片的荒谬之处识别风险发现价值请务必阅读末页的免责声明1033TablePageText深度分析通信图7GPT-4指出图片笑点在于将VGA端口插在iPhone上数据来源OpenAIGPT-4TechnicalReport广发证券发展研究中心3GPT-4可以处理超过25000字的文本在文本处理上GPT-4支持输入的文字上限提升至25000字允许长文内容创建扩展对话以及文档搜索和分析等用例且GPT-4的多语言处理能力更优在GPT-4的测评展示中GPT-4可以解决法语的物理问题且在测试的英语拉脱维亚语威尔士语和斯瓦希里语等26种语言中有24种语言下GPT-4优于GPT-35和其他大语言模型ChinchillaPaLM的英语语言性能图8GPT-4的文本处理能力是ChatGPT的上限的8倍图9在测试的26种语言中有24种语言下GPT-4优于GPT-35和其他大语言模型数据来源OpenAIGPT-4TechnicalReport广发证券发展数据来源OpenAIGPT-4TechnicalReport广发证券发研究中心展研究中心识别风险发现价值请务必阅读末页的免责声明1133TablePageText深度分析通信4具备自我训练与预测能力同时改善幻觉安全等局限性GPT-4的一大更新重点是建立了一个可预测拓展的深度学习栈使其具备了自我训练及预测能力同时GPT-4在相对于以前的模型已经显著减轻了幻觉问题在OpenAI的内部对抗性真实性评估中GPT-4的得分比最新的GPT-35模型高40在安全能力的升级上GPT-4明显超出ChatGPT和GPT35四商业模式愈发清晰微软Copilot引发跨时代的生产力变革OpenAI已正式宣布为第三方开开发者开放ChatGPTAPI价格降低加速场景应用爆发起初ChatGPT免费向用户开放以获得用户反馈今年2月1日OpenAI推出新的ChatGPTPlus订阅服务收费方式为每月20美元订阅者能够因此而获得更快更稳定的响应并优先体验新功能3月2日OpenAI官方宣布正式开放ChatGPTAPI应用程序接口允许第三方开发者通过API将ChatGPT集成至他们的应用程序和服务中价格为1ktokens0002即每输出100万个单词需要27美元比已有的GPT-35模型价格降低90模型价格的降低将推动ChatGPT被集成到更多场景或应用中丰富ChatGPT的应用生态加速多场景应用的爆发GPT-4发布后OpenAI把ChatGPT直接升级为GPT-4最新版本同时开放了GPT-4的APIChatGPTPlus付费订阅用户可以获得具有使用上限的GPT-4访问权限每4小时100条消息可以向GPT-4模型发出纯文本请求用户可以申请使用GPT-4的APIOpenAI会邀请部分开发者体验并逐渐扩大邀请范围该API的定价为每输入1000个字符约合750个单词价格为003美元GPT-4每生成1000个字符价格为006美元Office引入GPT-4带来的结果是生产力创造力的全面跃升微软今天宣布其与OpenAI共同开发的聊天机器人技术BingChat正在GPT-4上运行CopilotOpenAI发布升级后的GPT-4后微软重磅发布了GPT-4平台支持的新AI功能Microsoft365Copilot并将其嵌入WordPowerPointExcelTeams等Office办公软件中Copilot可以在一篇速记的基础上快速生成新闻草稿并完成草稿润色在Excel中完成各种求和求平均数做表格归纳数据甚至是完成总结提取在PPT上可以直接将文稿内容一键生成在Outlook邮件中自动生成内容并自由调整写作风格插入图表在Teams中总结视频会议的要点每个发言人谁说了核心内容跟进会议流程和内容自动生成会议纪要要点和任务模板基于GPT-4的Copilot可以看作是一个办公AI助理充分发挥出了AI对于办公场景的赋能作用有望从根本上改变工作模式并开启新一轮生产力增长浪潮识别风险发现价值请务必阅读末页的免责声明1233TablePageText深度分析通信图10Copilot在Word中根据指定话题进行内容生成图11Copilot在PPT中根据指定的内容直接生成初稿数据来源Microsoft资讯视频号广发证券发展研究中心数据来源Microsoft资讯视频号广发证券发展研究中心二GPT-4带动多模态x多场景落地AIGC蓝海市场打开一历经三阶段发展AIGC技术升级步入深化阶段AIGC全程为AI-GeneratedContent人工智能生成内容是继专业生成内容PGCProfessionalGenerateContent和用户生成内容UGCUserGenerateContent之后利用AI自动生成内容的新型生产方式传统AI大多属于分析式AI对已有数据进行分析并应用于相应领域以AIGC为典型的生成式AI不在局限于分析固有数据而是基于训练数据和算法模型自主生成创造新的文本3D视频等各种形式的内容表3PGCUGCAIGC的对比名词定义优势劣势由专业人士提供内容经过多层筛选提专业人士成本较高产出数量较PGC专业生产内容供给用户具备权威性和可控性低内容渗透率低由用户提供内容给网站内容数量产出内容质量难以把控且审核成本UGC用户生产内容较高满足用户表达和交互的需求高AI自动生成内容提升内容多样性创AIGC人工智能生产内容技术发展不完善作成本低具有降本增效的多重优势数据来源广发证券发展研究中心识别风险发现价值请务必阅读末页的免责声明1333TablePageText深度分析通信图12内容生产方式发展历程数据来源腾讯AIGC发展趋势报告2023广发证券发展研究中心历经三阶段迭代AIGC现已进入快速发展阶段1早期萌芽阶段1950s-1990s受限于科技水平及高昂的系统成本AIGC仅限于小范围实验2沉淀积累阶段1990s-2010sAIGC开始从实验性向实用性逐渐转变但由于其受限于算法瓶颈完成创作能力有限应用领域仍具有局限性3快速发展阶段2010s-至今GANGenerativeAdversarialNetwork生成式对抗网络等深度学习算法的提出和不断迭代推动了AIGC技术的快速发展生成内容更加多元化图13AIGC发展历程资料来源中国信通院人工智能生成内容AIGC白皮书广发证券发展研究中心识别风险发现价值请务必阅读末页的免责声明1433TablePageText深度分析通信AIGC可分为智能数字内容孪生智能数字内容编辑及智能数字内容创作三大层次生成式AI是指利用现有文本音频文件或图像创建新内容的人工智能技术其起源于分析式AI在分析式AI总结归纳数据知识的基础上学习数据产生模式创造出新的样本内容在分析式AI的技术基础上GANTransformer网络等多款生成式AI技术催生出许多AIGC产品如DALL-EOpenAI系列等它们在音频文本视觉上有众多技术应用并在创作内容的方式上变革演化出三大前沿能力AIGC根据面向对象实现功能的不同可以分为智能数字内容孪生智能数字内容编辑及智能数字内容创作三大层次表4AIGC创作方式的三大前沿能力作用具体内容实现现实世界与虚拟世界之智能增强技术对于数字化内容的缺失受损内容进行弥补数字内容孪生能力间内容的相互映射智能转译技术在对客观世界进行感知的基础上对其进行多样化的呈现搭建虚拟数字世界与现实物语义理解通过可解耦学习技术解决语义纠缠问题数字内容编辑能力理世界的交互通道智能属性控制技术根据用户的需求将原有内容进行编辑修改和二次生成使得人工智能拥有独立创作基于模仿的创作是通过学习归纳人类作品的特点后进行模仿创作数字内容创作能力的能力基于概念的创作是通过大量数据学习抽象概念并对不同概念进行重新组合生成新的内容数据来源中国信通院人工智能生成内容AIGC白皮书广发证券发展研究中心二生成算法预训练模型多模态推动AIGC的爆发AIGC的爆发离不开其背后的深度学习模型的技术加持生成算法预训练和多模态技术的不断发展帮助了AIGC模型具备通用性强参数海量多模态和生成内容高质量的特质让AIGC实现从技术提升到技术突破的转变1生成算法模型不断迭代创新为AIGC的发展奠定基础早期人工智能算法学习能力不强AIGC技术主要依赖于事先指定的统计模型或任务来完成简单的内容生成和输出对客观世界和人类语言文字的感知能力较弱生成内容刻板且具有局限性GANGenerativeAdversarialNetwork生成式对抗网络的提出让AIGC发展进入新阶段GAN是早期的生成模型利用博弈框架产生输出被广泛应用于生成图像视频语音等领域随后Transformer扩散模型深度学习算法模型相继涌现表5生成算法模型模型名称提出时间模型描述变分自动编码Variational2014年基于变分下界约束得到的Encoder-Decoder模型对AutoencodersVAE生成对抗网络GAN2014年基于对抗的Generator-Discriminator模型对基于流的生成模型Flow-based学习一个非线性双射转换bijectivetransformation其将训练数据映射到另一个空间在该空2015年models间上分布是可以因子化的整个模型架构依靠直接最大化log-likelihood来完成扩展模型有两个过程分别为扩散过程和逆扩散过程在前向扩散阶段对图像逐步施加噪声直扩散模型DiffusionModel2015年至图像被破坏变成完全的高斯噪声然后在逆向阶段学习从高斯噪声还原为原始图像的过程经过训练该模型可以应用这些去噪方法从随机输入中合成新的干净数据Transformer模型2017年一种基于自注意力机制的神经网络模型最初用来完成不同语言之间的文本翻译任务主体包含识别风险发现价值请务必阅读末页的免责声明1533TablePageText深度分析通信Encoder和Decoder部分分别负责对源语言文本进行编码和将编码信息转换为目标语言文本神经辐射场NeuralRadiance它提出了一种从一组输入图像中优化连续5D神经辐射场的表示任何连续位置的体积密度和视2020年FieldNeRF角相关颜色的方法要解决的问题就是给定一些拍摄的图如何生成新的视角下的图1进行自然语言理解和计算机视觉分析CLIPContrastive2使用已经标记好的文字-图像训练数据一方面对文字进行模型训练一方面对另一个模Language-ImagePre-Training模2021年型的训练不断调整两个模型的内部参数使得模型分别输出的文字特征和图像特征值并确认匹型配资料来源腾讯AIGC发展趋势报告2023广发证券发展研究中心Transformer被广泛应用于NLPCV等领域GPT-3LaMDA等预训练模型大多是基于transformer架构构建的ChatGPT是基于Transformer架构上的语言模型Transformer负责调度架构和运算逻辑进而实现最终计算Tansformer是谷歌于2017年AttentionisAllYouNeed提出的一种深度学习模型架构其完全基于注意力机制可以按照输入数据各部分重要性来分配不同的权重无需重复和卷积相较于循环神经网络RNN流水线式的序列计算Transformer可以一次处理所有的输入摆脱了人工标注数据集的缺陷实现了大规模的并行计算模型所需的训练时间明显减少大规模的AI模型质量更优Transformer的核心构成是编码模块和解码模块GPT使用的是解码模块通过模块间彼此大量堆叠的方式形成了GPT模型的底层架构模块分为前馈神经网络层编解码自注意力机制层Self-Attention自注意力机制掩码层自注意力机制层负责计算数据在全部内容的权重即Attention掩码层帮助模型屏蔽计算位置右侧未出现的数据最后把输出的向量结果输入前馈神经网络完成模型参数计算图14解码模块的构成数据来源公众号机器学习算法与自然语言处理广发证券发展研究中心2预训练模型引发AIGC技术能力的质变AI预训练模型是基于大规模宽泛的数据进行训练后拥有适应广泛下游任务能力的模型预训练属于迁移学习的领域其主旨是使用标注数据前充分利用大量无标注数据进行训练模型从中全面学习到与标注无关的潜在知识进而使模型灵活变通的完成下游任务视觉大模型提升AIGC感知能力语言大模型增强AIGC认知能力NLP模型是一种使用自然语言处理NaturalLanguageProcessingNLP技术来解决自然语言相关问题的机器学习模型在NLP领域AI大模型可适用于人机语言交互并进行自然语言处理从实现相应的文本分类文本生成语音识别序列识别风险发现价值请务必阅读末页的免责声明1633TablePageText深度分析通信标注机器翻译等功能NLP的研究经过了以规则为基础的研究方法和以统计为基础的研究方法的发展目前以基于Transformer的预训练模型已成为当前NLP领域的研究热点BERTGPT等模型均采用这一方法CV模型指计算机视觉模型是一种基于图像或视频数据的人工智能模型常见的CV模型有采用深度学习的卷积神经网络CNN和生成对抗网络GAN近年来以视觉TransformerViT为典型的新型神经网络通过人类先验知识引入网络设计使得模型的收敛速度泛化能力扩展性及并行性得到飞速提升通过无监督预训练和微调学习在多个计算机视觉任务如图像分类目标检测物体识别图像生成等取得显著的进步表6国外主要的AIGC预训练模型一览表预训练模型应用参数量领域BERT语言理解与生成4810亿NLPLaMDA对话系统NLP谷歌PaLM语言理解与生成推理代码生成5400亿NLPImagen语言理解与图像生成110亿多模态Parti语言理解与图像生成200亿多模态Florence视觉识别64亿CV微软Turing-LNG语言理解生成170亿NLPOPT-175B语言模型1750亿NLPFacebookM2M-100100种语言互译150亿NLPGato多面手的智能体12亿多模态DeepMindGopher语言理解与生成2800亿NLPAlphaCode代码生成414亿NLPGPT3语言理解与生成推理等1750亿NLPCLIPDALL-E图像生成跨模态检索120亿多模态OpenAICodex代码生成120亿NLPChatGPT语言理解与生成推理等NLP英伟达Megatron-TuringNLG语言理解与生成推理等5300亿NLPStabilityAIStableDifuusion语言理解与图像生成多模态资料来源腾讯AIGC发展趋势报告2023广发证券发展研究中心3多模态技术拓宽了AIGC技术的应用广度多模态技术将不同模态图像声音语言等融合在预训练模型中使得预训练模型从单一的NLPCV发展成音视频语言文字文本图像等多模态跨模态模型多模态大模型通过寻找模态数据之间的关联点将不同模态的原始数据投射在相似的空间中让模态之间的信号相互理解进而实现模态数据之间的转化和生成这一技术对AIGC的原创生成能力的发展起到了重要的支持作用2021年OpenAI推出AI绘画产品DALLE可通过输入文字理解生成符合语义且独一无二的绘画作品其背后离不开多模态技术的支持识别风险发现价值请务必阅读末页的免责声明1733TablePageText深度分析通信图15多模态数据之间相互转化和生成数据来源京东探索研究院广发证券发展研究中心三多模态x多场景落地AIGC爆发商业潜力ChatGPT的广泛应用意味着AIGC规模化商业化的开始ChatGPT是文字语言模态AIGC的具体应用在技术应用领域和商业化方面和传统AI产品均有所不同ChatGPT已经具备了一定的对现实世界内容进行语义理解和属性操控的能力并可以对其回以相应的反馈ChatGPT是AIGC重要的产品化应用意味着AIGC规模化商业化的开始创新工场董事长兼CEO李开复博士在3月14日表示ChatGPT快速普及将进一步引爆AI20商业化AI20是绝对不能错过的一次革命多家公司正加紧研发ChatGPT类似产品引爆新一轮科技企业AI军备竞赛在GPT4推出之后Google开放自家的大语言模型APIPaLMAPI此外还发布了一款帮助开发者快速构建AI程序的工具MakerSuite2月底Meta公布一款全新的AI大型语言模型LLaMA宣称可帮助研究人员降低生成式AI工具可能带来的偏见有毒评论产生错误信息的可能性等问题AIGC的应用领域分为视频音频文本图像跨模态生成五个部分AIGC以其真实性多样性可控性组合性的特质为各行业各领域提供了更加丰富多元动态且可交互的内容根据AIGC生成内容的模态不同可将AIGC的应用领域分为视频音频文本图像跨模态生成五个部分其中在图像文本音频等领域AIGC已经得到了较大优化生成内容质量得到明显提升而在视频与跨模态内容生成方面AIGC拥有巨大发展潜力识别风险发现价值请务必阅读末页的免责声明1833TablePageText深度分析通信图16AIGC应用领域根据生成内容分类资料来源中国信通院人工智能生成内容AIGC白皮书广发证券发展研究中心表7AIGC应用领域根据应用场景分类应用场景细分领域具体作用产品全民娱乐人脸美妆人脸融合黑白图像上色图像风格转化人像属性转变娱乐领域偶像养成虚拟歌姬虚拟网红社交互动用户数字化身采集采访助手传媒领域编辑写稿机器人智能视频拆条视频锦集视频字幕生成播报AI主播智能播报前期创作剧本生成数字复活已故演员高难度动作合成演员角色年龄的跨越虚拟物理中期拍摄影视领域场景合成替换劣迹艺人多语言译制片音画同步影视作品修复影视预告片生后期制作成影视内容2D转3D商品展示智能商详商品3D模型生成电商领域主播打造品牌虚拟主播交易场景虚拟商城构建教育合成历史人物视频虚拟教师线上课堂音视频处理工业辅助工程设计加速数字孪生系统构建其他领域医疗医学图像处理智能病历录入合成肢体投影合成医护陪伴金融营销视频合成智能金融客服VR金融场景构建数据来源中国信通院人工智能生成内容AIGC白皮书广发证券发展研究中心识别风险发现价值请务必阅读末页的免责声明1933TablePageText深度分析通信三高算力需求带动基础设施迭代加速一AI大模型驱动高算力需求数据算力及模型是人工智能发展的三要素以GPT系列为例1数据端自OpenAI于2018年发布GPT-1到2020年的GPT-3GPT模型参数数量和训练数据量实现指数型增长参数数量从GPT-1的117亿增长到GPT-3的1750亿训练数据量从5GB增长到的45TB2模型端ChatGPT在以往模型的基础上在语料库计算能力预训练自我学习能力等方面有了明显提升同时Transformer架构突破了人工标注数据集的不足实现与人类更顺畅的交流3算力端根据OpenAl发布的LanguageModelsareFew-ShotLearners训练13亿参数的GPT-3XL模型训练一次消耗的算力约为275PFlops-dav训练1750亿参数的完整GPT-3模型则会消耗算力3640PFlops-dav以一万亿次每秒速度计算需要3640天完成表8GPT各系列大模型参数数量与训练数据量对比AI大模型发布时间参数数量训练数据量GPT2018年6月117亿约5GBGPT-22019年2月15亿40GBGPT-32020年5月1750亿45TB在GPT-3的基础上进行参数的微调增加了包含ChatGPT2022年11月-3千亿单词量在内总计570GB的数据数据来源CSDNSciencefocus广发证券发展研究中心在人工智能发展的三要素中数据与算法都离不开算力的支撑随着AI算法突飞猛进的发展越来越多的模型训练需要巨量算力支撑才能快速有效实施同时数据量的不断增加也要求算力配套进化如此看来算力成为AI突破的关键因素AI大模型的算力需求主要来自于预训练日常运营和模型微调1预训练在完成完整训练之前搭建一个网络模型完成特定任务在训练网络过程中不断调整参数直至网络损失和运行性能达到预期目标此时可以将训练模型的参数保存用于之后执行类似任务根据中国信通院数据ChatGPT基于GPT35系列模型模型参数规模据推测达十亿级别参照参数规模相近的GPT-3XL模型则ChatGPT完整一次预训练消耗算力约为275PFlops-dav识别风险发现价值请务必阅读末页的免责声明2033