数字人是通过计算机技术和图形学算法生成的虚拟人物形象。它基于计算机生成的模型和动画技术,以逼真的方式模拟人类的外观、行为和表现。
数字人从 20 世纪 80 年代电影行业的手绘开始,到 21 世纪初的动作捕捉,再到近几年深度学习算法带来的仿真数字人,其虚拟形象越来越智能化、精细化与多样化。
数字人直播是指利用虚拟人物或数字化的人工智能生成的虚拟主播或主持人进行实时直播活动。这些数字人主播可以通过预先录制的音频、视频和动画数据,结合实时的语音合成和虚拟现实技术,在直播平台上进行互动和娱乐。
根据数字人直播的不同分类标准,以下是对数字人直播进行分类的示例:
(1)根据数字人的形象和类型分类。
·虚拟人物主播:数字人直播中使用虚拟人物角色作为主播,这些角色可以是卡通风格、动漫风格或其他虚拟形象。
·数字化真实人物主播:数字人直播中使用真实人物的数字化版本作为主播,通过3D扫描和建模技术将真实人物转化为数字形象。
(2)根据应用领域分类。
·娱乐直播:数字人直播用于娱乐平台,包括唱歌、跳舞、讲故事、互动娱乐等。
·游戏直播:数字人直播用于游戏直播平台,可进行游戏实况转播、评论和互动娱乐。
·教育直播:数字人直播用于教育平台,可提供教学内容、答疑解惑和知识普及。
·营销直播:数字人直播用于营销平台,可作为品牌形象代言人,进行产品宣传、推广和销售活动。
(3)根据技术和互动方式分类。
·实时数字人:数字人主播在直播过程中实时生成和渲染,通过语音合成和实时动画生成与观众进行互动。
·预先录制数字人:将数字人主播的视频内容事先录制好,然后在直播中播放,观众可以通过评论和弹幕进行互动。
(4)根据面部捕捉和表情合成数字人直播分类。
·面部捕捉技术:利用面部捕捉技术,实时捕捉主播的面部表情和动作,并将其应用于数字人角色,使其具备逼真的面部表情和口形同步。
·表情合成技术:通过深度学习和计算机视觉技术,将主播的面部表情和动作数据转化为数字人角色的表情,实现面部表情的合成和呈现。
这些分类方式只是对数字人直播按不同标准进行分类的示例。具体的分类方式可以根据应用需求、技术能力和平台特点进行调整和细分。随着数字人直播的不断发展和创新也可能会出现新的分类方式和应用形式。
当前,应用较广的数字人直播形式有两种:一是基于虚拟角色、捏脸角色模型进行面部和动作捕捉的数字人直播,可实时互动,由真人实时驱动;二是采用真人/AI训练模型的方式获取虚拟人物的面部、肢体与动作,可采用真人驱动面部与动作捕捉实时直播,或者使用音频驱动嘴唇与动作,做到完全无人直播。
数字人商业应用
1.腾讯智影
腾讯智影是一款云端智能视频创作工具。
2.硅基智能
硅基智能是国内较早深度研发和落地应用数字人技术的企业,目前主要提供数字人视频生成与直播解决方案、数字人定制服务,并为第三方企业提供API接口服务。
3.特看科技
特看数字人主播宝主要提供视频与直播换脸服务,以及数字人短视频与直播解决方案,可以做到文本生成视频与文本驱动直播服务,并提供数字人定制服务。
4.万兴播爆
万兴播爆主要提供出海企业的数字人短视频制作解决方案。