当被大模型输入技术内功，数字人「文画两开花」，还在手机里随时陪你聊天

能互动、擅写作、会作画，百度数字人度晓晓应了这样一句话，「天空才是她的极限」。

这年头，数字人直播带货、虚拟主播、****客服，这些应用场景已经不再是多稀奇的事了。从时尚娱乐到文化商业，数字人迎来了全面开花。国内大厂也纷纷抓住数字人这个发展机遇，推出花样百出的娱乐和实用性数字人产品，致力于让数字人更智能化更服务化。
百度 2020 年 9 月推出的国内首个可交互虚拟偶像度晓晓，最近用她的智能互动、写作和绘画表现让人们见识到了 AI 大模型的能力。
6 月 14 日，一段由百度打造的度晓晓和龚俊数字人联袂出演的《每分 每秒 每天》歌曲 MV 刷屏全网，并登上各大音乐电台、多个音乐排行榜，播放量更是超过 1300 多万。与一般通过人工换声实现虚拟人唱歌不同，度晓晓参与演唱的这首歌从作词到编曲都是由 AI「操刀」，成为国内首个虚拟偶像 AIGC（AI generated content, 人工智能创造内容）歌曲。
度晓晓变身为 AI 唱作人，而在唱歌的表象下，歌词中「每分每秒每天，我都在这里；等着你，来邀请，我随时给你回应 …… 」点出了度晓晓更深层次的身份 —— 入端百度 APP、每分每秒每天陪伴人类的虚拟助手。度晓晓为用户提供全程 AI 陪聊功能，升级搜索体验，情感聊天、定外卖、寄快递、讲故事等，几乎你能想到的需求都可以一呼即达。
如你所见，度晓晓实现自然的多轮聊天互动，在对话中识别用户的搜索和服务需求，其中多轮聊天能力由百度文心大模型提供强大的底层技术支持，尤其是全球首个基于隐空间的生成式开放域对话大模型文心 PLATO。

除了 APP 端更拟人的智能对话之外，百度文心大模型还一度让度晓晓变身为高考作文写手和 AI 画家，分别要归功于融合任务相关知识的千亿大模型 ERNIE 3.0 Zeus 和跨模态图文生成模型 ERNIE-ViLG。
6 月 7 日高考语文考试之后，度晓晓化身数字人考生挑战全国新高考 Ⅰ 卷作文题《本手、妙手、俗手》，40 秒的时间内完成了 40 篇高考作文，平均 1 秒生成 1 篇，写作速度远超了人类。那么度晓晓生成的作文能满足高考写作的审题、逻辑和创意等要求吗？
这一担心也被证明是多余的，曾任北京高考语文阅卷组组长的申怡为她随机生成的一篇作文打出了 48 分的成绩（满分 60 分），从历年统计数据来看，这个分数超过了 75% 的人类考生。称呼她一声写作高手绝不为过。

度晓晓生成的高考作文示例。
给出一段话就能输出一幅图，这种神奇的跨模态能力成为近年来各大 AI 公司追捧的热点，如英伟达的 GauGAN 和GauGAN2、OpenAI 的DALL·E和 DALL·E 2。度晓晓数字人也拥有了这种绘画能力，完成的 AI 画作甚至得到了专业人士的认可。
6 月初，度晓晓创作的「****」系列数字藏品上线百度 APP 开启限时抢购，该系列共有 4 幅画作。作为国内首个数字人创作的艺术数字藏品，这些画作在 24 小时内就卖出了 17 万元。更令人想不到的是，每幅画作的创作时间仅需几十秒，这种画画速度大概会令通常仔细斟酌、耗时很长的专业画家羡慕吧。
随后，度晓晓带着她的画作现身西安美术学院 2022 年「时空留痕・****西美」本科毕业展，在自己的专属展区展出了此前制成数字藏品的四幅作品以及两幅有关西安大雁塔的本地特色作品。这些画作的水平又如何呢？西安美院教授评价称「已经达到了本科美术生的基本要求」。

度晓晓化身 AI 美术生，开了自己的专属展区。
度晓晓出圈的背后 —— 百度 AI 技术赋予她内涵
但应看到，数字人的背后少不了技术的支撑，百度文心大模型为度晓晓的一系列外在能力展现提供了技术内核。在 5 月 20 日的 WAVE SUMMIT 2022 深度学习开发者峰会上，文心大模型迎来了自发布以来的最大一次升级，新增 10 个大模型，包括基础通用大模型、任务大模型、行业大模型三大类，比如基础 NLP 大模型中新增的融合任务相关知识的千亿大模型 ERNIE 3.0 Zeus。

同属文心 NLP 大模型范畴的全球首个基于隐空间的生成式开放域对话大模型文心 PLATO ，保证了度晓晓在百度 APP 端不再尬聊。
作为百度研发的具有大规模参数的中英文对话预训练生成模型，文心 PLATO 历经多个版本。2019 年推出了通用领域的对话生成预训练模型 PLATO，在 NLP 领域国际顶会 ACL 2020 上正式展示；到 2020 年升级为 PLATO-2，涵盖中英文版本，实现了开放域话题深度畅聊。现在升级到了百亿参数的文心 PLATO- XL 版本，在开放域对话效果上得到了持续的提升。
既然说到了 文心 PLATO，那我们就先来看在它的加持下，度晓晓如何在百度 APP 端实现接近真人水平的多轮流畅对话以及更拟人的智能化搜索？度晓晓和龚俊数字人目前实现了四大功能，即个性化聊天陪伴、辅助搜索、服务分发和互动玩法。其中个性化聊天可以实现多轮对话以及人设定制化能力，这也正是文心 PLATO 大模型的用武之地。
首先，为了学习通用对话生成能力，文心 PLATO 采用了完全生成方式，并根据多轮对话上下文（Context）生成对话回复（Response），在大规模对话语料上进行预训练。PLATO 只有 8.3M 的训练样本；PLATO-2 的英文和中文训练集样本分别为 684M 和 1.2B，模型规模最高达到了 1.6B；到了 PLATO-XL，英文和中文训练集样本分别 811M 和 1.2B，模型规模更是来到了 11B。
预训练时，针对开放域中涉及上下文的对话理解和回复的对话生成，文心 PLATO 采用编码器和****共享参数的 Unified Transformer 作为基础框架，使对话理解和对话生成进行充分的信息融合交互。此外，考虑到对话答复与场景、意图等对话情景信息相关，相同上下文不同的情境会对应不同的答复（即一对多关系），而情境信息又难以用显示文本进行表示，文心 PLATO 又提出用隐变量因子表示情境信息，如下图所示。
在大规模预训练样本和预训练技术创新的基础上，文心 PLATO 为度晓晓带来了多轮流畅的开放域对话能力。

文心 PLATO 的模型架构。
人工智能发展至今，数据价值正在不断得到体现和提升，可以说，数据即 “石油”。同样，在开放域对话中，高质量的对话语料也同样重要，对模型训练起着重要作用，但我们都知道，高质量的对话语料少之又少，另外语料所依附的人设信息千差万别，导致模型在效果上参差不齐。
如何赋予对话机器人稳定一致的人设一直是对话技术领域面临的重要挑战，文心 PLATO 在预训练对话模型的基础上进一步学习不同画像信息下的对话生成能力，使模型具备了围绕人设的定制化对话能力，还能在答复过程中始终保持人设的一致性。
这一能力加持到度晓晓身上，她便更加彰显了自己的人设或个性化 IP。用一句流行的话说，度晓晓的人设要保持一致。同时，在对话时，度晓晓充分考虑用户上下文的联系，生成的回复始终不脱离语境，像人与人聊天那样不偏题。

百度 APP 端内度晓晓的多轮聊天能力展示。
最后，即使度晓晓已经具备了一定的知识对话能力，但受限于预训练语料存在的知识稀疏性，生成回复中仍然会有不知如何答复或答非所问的情况出现。
针对这一问题，文心 PLATO 提出了问答生成任务 + 预训练对话任务的连续预训练策略，将海量问答知识内化到模型参数中，使模型及其支持的度晓晓在知识问答时更准确、更全面。
这么一套技术组合拳下来，文心 PLATO 成就了现在的度晓晓，更拟人化、更具针对性、更贴合用户真实需求成为了她在百度 APP 内的标签。她可以与用户进行语境连续的多轮自然对话，支持文本、图片、表情包、音频等多样化聊天形态；当在对话中识别出用户的搜索意图时，要么直接回复答案要么呈现 APP 内相关问题的搜索结果；用户想要看电影、订车****时，她也会直接跳转至相应服务界面。

百度 APP 端内的多任务小能手度晓晓。
而此前，度晓晓 40 秒完成 40 篇高考语言作文的表现，背后利用的是文心大模型中的 NLP 千亿大模型 ERNIE 3.0 Zeus。它是知识增强大模型 ERNIE 3.0 系列模型的最新升级，更在国内首个开放了 API 调用。
在训练时，除了从海量无监督文本数据和百度知识图谱的学习之外，还针对上百种不同形式的任务数据进行持续学习，增强了模型效果，显著提升了在自由问答、信息抽取和情感分析等下游各类 NLP 任务上的零样本 / 小样本学习能力。

ERNIE 3.0 Zeus 大模型概览。
对于此次高考写作挑战，度晓晓一方面具有数据「底气」。得益于 ERNIE 3.0 Zeus 的千亿参数，度晓晓在写作训练时接受了大量风格各异的高考作文样本数据，在不断的吸收消化过程中，培养出了自己的写作风格以及对于高考作文的需求认知，在实战中「应题而作」。
另一方面，在充足、多样化高考作文样本数据的基础上，度晓晓进一步确立了一整套自己的写作套路。在扣题立意方面，她始终不离给定的作文题目，围绕主题组织文字，输出支持该主题的积极正向观点；在行文结构上，面对 800 字的长文本生成要求，她能保持整体文章脉络清晰、逻辑完整，并在开篇和结尾双重扣题；在写作技巧上，历史典故、古诗词拈手就来，还学会了排比、比喻等修辞手法，文章可读性大大提升。

在 ERNIE 3.0 Zeus 的赋能下，度晓晓就像是众多见多识广的「尖子生」、「学霸」的集合体，理解能力和创作能力更强，写出高分作文也就不足为奇了。
除了以上 NLP 领域的智能对话和 AI 写作，跨模态也是文心大模型深耕已久的领域。度晓晓引起关注的「****」系列画作采用的正是文心大模型跨模态图文生成大模型 ERNIE-ViLG，它不仅构建了包含 1.45 亿高质量中文文本 - 图像对的大规模跨模态对齐数据集，而且基于飞桨平台在该数据集上训练了百亿参数模型，在文本生成图像、图像描述等跨模态生成任务具有显著效果。

ERNIE-ViLG 大模型的流程图，其中文本生成图像模型中的两阶段训练和端到端方法是关键。
与上述高考写作一样，得益于 1.45 亿高质量中文文本 - 图像对，ERNIE-ViLG 学会了类似于人类的作画过程。整体可以分为两步，大模型首先要理解输入给自己的文字的含义，并结合背景知识扩展更丰富的信息，找到契合的元素和作画的灵感；然后构思生成初步的草稿图，再不断优化填充，从而逐步生成符合主题的高质量图片。
因此，对于使用了 ERNIE-ViLG 的度晓晓，仅仅输入一段话，便能在几十秒内做出一幅画作。她不仅可以根据不同的输入文字需求画出对应的场景，还在画作风格上博采众长，能够 hold 住水彩、油画、中国画、印象派等多种风格。

度晓晓生成的六幅画作。
这些画作具有充满想象力的构图、流畅的笔触和丰富的色彩，尤其第一幅大雁塔画作，远处山峰缥缈，落日金辉，近处大慈恩寺佛塔高耸，大雁略过，意境颇为深远。如果事先不告诉你，你大概猜不出它们是由度晓晓创作的。这就是 AI 的神奇之处。
全新内容生产方式 ——AIGC
从对话到写作、作画，度晓晓俨然成为了数字人中的「多面手」。一方面，在百度文心大模型整合的多模态交互、3D 建模、机器翻译、语音识别等多项技术的助力下，度晓晓已经在百度 APP 端内实现了生动拟人智能的互动交流。另一方面，由于文心大模型超强的理解和生成能力，度晓晓的创作能力被充分地挖掘和展现出来。
可以这样说，此时的度晓晓已经脱离了传统意义上的 CG 数字人，有了「内涵」，而这些恰好契合了当下备受关注的新型内容生产方式 ——AIGC，即通过人工智能技术自动生产内容。继 UGC、PGC 之后，大模型赋能下的 AIGC 已经成为了过去一年来百度 AI 技术加速落地的着陆点。
不仅如此，度晓晓近来展现的编曲、互动交流、写作和作画，都只是百度大模型技术支撑下在 AIGC 层面的牛刀小试。随着底层 AI 大模型技术的不断完善，AIGC 的可用性和适用性势必会迎来提升和扩展，更多内容生产领域会被发掘出来。
像度晓晓这样的数字人，落地场景也就不再局限于单一的端内互动或图文创作，未来的舞台可以遍布影视、金融、文旅等各个领域，「天空才是她的极限」。
让大模型不再流于参数，终究还是要落地，实现应用价值
在近年来深度学习领域掀起这波「练大模型」潮流之际，百度持续发力文心大模型也是顺势而为，力争在 AI 巨头的竞争中始终保持领先优势。就之前的趋势而言，追逐参数的多、模型的大似乎在国内外巨头们之间形成了一种默契。
从 GPT-3 开始，千亿、万亿级大模型纷至沓来，如国外谷歌 1.6 万亿参数大模型 Switch Transformer、微软联合英伟达的 5300 亿参数模型 MT-NLG，国内浪潮 2457 亿参数单体模型源 1.0、阿里达摩院 10 万亿参数多模态大模型 M6。
慢慢地，当堆参数及其带来的巨额训练成本不再那么吸引 AI 巨头们时，如何使自身大模型更广泛地落地成为了他们新的目标。作为从 2019 年就开始积累预训练技术和大模型的 AI 头雁，百度在探索大模型过程中修炼了自己的武功秘诀 —— 知识增强。
2021 年 12 月，百度发布全球首个知识增强千亿大模型鹏城 - 百度・文心发布，它的参数量达到了 2600 亿，是一个融合了 NLP 和 NLG 的全能模型。当时，百度产业级知识增强大模型文心全景图首次亮相。
今年 5 月的 Wave Summit 峰会上，百度聚焦「前沿大模型技术如何匹配真实场景中的方方面面要求」这一问题，提出了大模型产业落地的三个关键路径，包括更适配应用场景的模型体系、更有效的工具和方法以及更开放的生态。方方面面无不呼应着落地。
同时，文心大模型除了迎来新成员之外，还可以通过百度飞桨的一系列大模型开发套件、大模型API和集成文心大模型的飞桨企业版EasyDL和BML开发平台，全面释放使用效能，进一步降低应用门槛。在生态和社区层面，构建文心・旸谷社区，将大模型能力开放给普通开发者，人人皆可触碰 AI 的魅力。文心大模型的个人、企业开发者数量已超过 6 万人。

文心・旸谷社区地址：https://wenxin.baidu.com/younger
全新升级的文心大模型在知识增强和产业级这两方面得到了进一步加强，10 个大模型新成员中的国网 - 百度・文心和浦发 - 百度・文心就分别将文心大模型的能力输入到了能源电力行业和金融服务行业，这也预示着文心大模型与行业的联系越来越紧密。
目前，以知识增强和产业级为指导的文心大模型已经逐渐在百度内外「兑现」了自己的能力。
在百度内部，搜索、信息流、百度地图等场景中可以看到文心大模型的身影，如上文在百度 APP 端智能互动的度晓晓以及小度智能屏等；在百度外部，文心大模型在工业、能源、金融、教育、通信、媒体、医疗等各行各业都有了实战场地，如工业领域的零部件质量检测、金融行业的合同信息抽取等，在赋能行业中真正实现了自身的应用价值。
度晓晓最近频频出圈，让更多人看到了其背后文心大模型的技术内驱力。然而，未来文心大模型的落地场景不应受限。
一方面，文心大模型可以按照能源行业国网 - 百度・文心和金融行业浦发 - 百度・文心的模式继续推出更多行业大模型，持续推进大模型在各行各业的深度应用，满足多样化场景任务需求。
另一方面，在 AI for Science 领域，文心大模型中已经有了两个生物计算大模型（HELIX-GEM 和 HELIX-Fold），未来同样有可能在数学、物理、化学等更多基础学科领域构建专属大模型。这样做可以持续探索大模型在科学领域解决问题的巨大潜力，更全面地推进 AI 与 Science 的融合。
大模型成为行业热点已经有两三年时间，在百度看来，2022 年是大模型产业落地的关键年。不管是度晓晓这一系列的创意应用，还是深入到更广泛的行业和前沿技术领域，百度势必会抓住大模型发展的这一机遇，在产业化落地的融合创新之路上继续又稳又快地走下去。
参考链接：https://arxiv.org/pdf/2109.09519.pdfhttps://arxiv.org/pdf/2006.16779.pdfhttps://aclanthology.org/2020.acl-main.9.pdfhttps://www.jiqizhixin.com/articles/2022-05-20-8https://wenxin.baidu.com/wenxin/modelbasedetail/plato/https://wenxin.baidu.com/wenxin/modelbasedetail/ernie_vilg/https://wenxin.baidu.com/wenxin/modelbasedetail/ernie3_zeus/