10月19日—20日,由工业和信息化部、江西省人民政府共同主办的2023 在江西南昌召开。大会同期,由中央广播电视总台超高清视音频制播呈现国家重点实验室、中央广播电视总台江西总站、世界超高清视频产业联盟承办的超高清主题论坛成功举办。该论坛以“文化元宇宙”为主题,与会专家围绕XR虚实融合超高清制作、VR影像绘制、菁彩三维声、元宇宙、AI大模型等前沿技术发展与实践经验进行了探讨。
大模型作为一种AI技术,正在赋能元宇宙发展。它将现实世界与虚拟世界进行融合,为人们提供了丰富的数字化内容和无限的互动体验。自今年以来,大模型快速发展,为元宇宙提供了更强大的认知能力。
“如今,大模型备受瞩目,可以实现跨领域、跨语言、跨媒体的智能化,成为元宇宙的技术引擎和内容源泉。” 中国工程院院士戴琼海在视频致辞中表示,“在大模型技术的驱动下,元宇宙可以为人类提供新的创造空间和内容体验,极大地促进了人类的协作和交流。”
中央广播电视总台编务会议成员、总台超高清视音频制播呈现国家重点实验室主任、世界超高清视频产业联盟理事长姜文波在致辞中表示,当今世界百年未有之大变局加速演进,新一轮科技革命和产业变革日新月异,超高清、虚拟现实、人工智能、5G、大数据、云计算、元宇宙等技术快速迭代升级,新技术、新模式、新业态不断涌现,为视听媒体快速发展提供了千载难逢的历史机遇。
随着智能媒体时代的到来,视听领域全媒体内容生产呈现智能化、沉浸式、多维度的趋势。中央广播电视总台国家重点实验室虚拟现实视觉呈现技术研究实验室副主任谭阳指出,面向文化元宇宙内容生产的虚实融合制作平台包括XR超高清制作、VR虚实融合制作、云渲染、数字人、VR三维影像绘制等新型媒体技术。其中,XR超高清制作技术通过三维渲染引擎在LED屏幕上呈现实时动态虚拟场景,打破了传统抠像技术的限制,实现虚拟空间与现实世界的无缝衔接。
生成式人工智能AIGC是人工智能从1.0时代进入到2.0时代的重要标志,它的出现引发了内容生产力的大变革。“AIGC利用人工智能自动生成内容,实现了多模态内容生成。”上海人工智能实验室主任助理、上海交通大学人工智能研究院副院长王延峰指出,生成式智能媒体的发展阶段经历了文生图、文生编辑、文生视频、文生3D等阶段。他举例说,文生图就是通过简单的文字描述(文本)就能生成想要的图片,文生视频就是文本驱动的视频编辑。
世界超高清视频产业联盟秘书长张文刚认为,元宇宙时代对超高清视音频技术发展产生了新的需求,包括沉浸式视听体验、高效内容生产、实时多维互动、实时及大规模用户在线等,再加上AIGC的加持,可以提高内容创作的效率。
虚拟现实一体机最受欢迎的应用是观看视频内容,然而,为虚拟现实设备创建高分辨率视频却存在着一定挑战。“超高清VR视频的分辨率和视频码率越高,视频的清晰度也越高,对下载网速也提出了更高的要求。”杭州西顾视频科技有限公司VR视频事业部负责人Afonenkov Ivan说道。
首次场内外观众同屏互动点燃数字火炬、数智人多端互动、VR互动数智观赛等数实融合沉浸体验,成就了杭州亚运会独特的数智魅力。中国移动咪咕公司技术管理部总经理李琳以杭州亚运会为例,介绍了在直播中采用的AVS3+HDR Vivid超高清视频标准、5G低时延、AI字幕升级、AR互动、VR观赛、大屏数智人等技术。他表示:“通过这些技术的持续创新,为观众实现更好的视听体验。”
“未来三年,将成为AIGC视频和图形技术成熟的关键时间节点。”华为云媒体服务产品部副总裁甘漠对此进行了进一步的阐述:第一步,从“拍摄”走向“计算”,整个计算量非常大,云制作将实现内容生产力的全新重构,在云上实现了一站式共享协同创作。 AI渲染将提升影视级内容制作效率,而云原生媒体引擎能让内容生产从离线走向实时,让影视级技术赋能千行百业。第二步,由“模型”生成“像素”,AIGC定义全新的内容生产模式,进入智能化新阶段。数字空间可以快速实现空间的数字孪生复刻,照片级超高清实时推理呈现;人人可以拥有数字人分身,赋能行业由“真人实拍”走向“AI数字人”。
凌云光·元客视界科技有限公司总经理熊伟在论坛上解析了短片《王勃归来》。他说,AI数字人“王勃”出现在短片中,栩栩如生;江西的文化美景融入到视觉短片,采用了大规模场景扫描建模、大型建筑扫描建模、AI数字人生成等多种融合技术,通过虚拟拍摄手法制作完成。
“虚拟制片可以进行电影背景的制作,它以不同的规模应用于各种直播或者娱乐行业。”阿诺莱德业务拓展总监Hendrik Voss指出,虚拟制片是真实场景和虚拟场景的融合,在LED屏幕前,演员是真人演员,背景则是一大块LED显示屏,它可以由计算机生成画面,在计算机上还装配了一个摄像机和一些传感器,在追踪系统驱动下,传感器追踪演员的运动,LED背景也会随之变化。
4K/8K视频可以呈现更清晰的图像和更细腻的颜色表现,为观众带来了一场视觉盛宴。如何将观众的感官扩展到屏幕外的整个三维空间,为观众带来更加真实的沉浸式体验?央广云听文化传媒有限公司创研事业部副总经理郑强表示,随着双耳渲染技术的发展,让用户在有限的音响条件下体验到更加逼真的声音体验,菁彩不仅是三维音频技术,而且是全国首个音频编码标准,除了开放友好版权和知识产权政策之外,更重要的是原数据系统兼容国际标准,可以灵活扩展,为内容创作提供更好的帮助。
从计算硬件人机交互50年发展历史来看,人类已开启了虚实结合、空间计算的新时代,VR+超高清显示技术是空间计算时代核心产品力之一。为此,小派科技 (上海) 有限责任公司副总裁李杰详细介绍了VR头显超高清显示技术。他说,VR显示包括屏幕覆盖光学和光学覆盖屏幕两种光学成像系统。VR产品为了实现大视场角,搭建了屏幕覆盖光学的成像系统。在这种成像系统加持下,VR硬件给用户带来了惊叹的沉浸感,同时这种成像系统也浪费了一些“屏幕边角料”,也就是“无效像素点”,实际上被有效利用的像素点数量比屏幕分辨率少一些。光学覆盖屏幕类型的头显产品,相对来说视场角有所减小,能够实现屏幕像素点的全部利用。他提到,Fast-LCD与Mini LED相结合,不仅可以很好地解决漏光难题,也能够进一步提升Fast-LCD在高对比度、高刷新率、高亮度等方面的性能,辅以HDR技术,将更好地发挥VR产品近眼超高清显示的画质特质。
最后,李杰指出,无论是什么样的显示技术,都是像素点平铺在了人眼的球面空间上。人的视网膜分辨率介于8K和16K之间,8K超高清只是良好视觉沉浸的起点,只有将屏幕的分辨率做得更高,才能同时做到显示效果的“清晰”和“宽广”。