当前,5G、超高清、虚拟现实等新兴技术飞速发展,传统视听内容的生产和传播,已经越来越难以满足人们对美好视听体验的新需求。5月8日—10日,在世界超高清视频产业发展大会期间举行的“高新视频创新应用主题会”上,来自政府相关部门、企业、学校、研究机构的演讲嘉宾围绕高新视频在应用场景、技术、业态等方面取得的创新突破、实践成果以及发展趋势展开了深入讨论。
打造高新视频科技创新体系
近年来,人工智能、大数据、VR/AR/XR等作为新一轮信息革命和产业变革的关键技术,日益成为重组全球要素资源、重塑全球竞争格局的重要变量。中广电广播电影电视设计研究院有限公司党委书记、董事长、总经理许秀中表示,新技术带来新动能新业态,展现新活力,广播电视和网络视听机构积极布局相关领域,将AIGC、数字人、虚拟拍摄、自由视角等新技术、新应用贯穿于内容创作生产、分发、终端播放、管理审核等各环节,共同打造开放融合的大视听产业新生态。经过3年的发展,高新视频已在中国的综艺演出、赛事活动、科普展陈、文旅文娱等场景中得到广泛应用,满足了中国人民对美好视听的新需求。
国家广电总局科技司副司长、一级巡视员孙苏川指出,在以视频为重要载体的信息时代,加快发展超高清视频产业,对于加快建设“网络强国”“数字中国”,加快发展数字经济具有重大战略意义。随着5G、人工智能、大数据、云计算、区块链、物联网、XR等数字技术泛在化应用,高新视频已经成为数字经济发展的新引擎新动能。
对此,孙苏川建议:“一是要努力打造高新视频自立自强科技创新体系。随着元宇宙、虚拟数字人、NFT等新型虚拟场景的逐步落地,数字技术对现实世界进一步模拟和重构,高新视频站在信息技术迭代升级的前沿,要聚焦全新的视听体验,深化多场景的融合应用,拓展垂直类行业级应用,不断延伸产业链价值链,促进文化和科技深度融合,培育打造高新视频新产品新服务。要围绕互动视频应用探索、沉浸式超高清视频创新应用等技术领域,积极探索研究高新视频关键技术、设备系统、应用场景、发展趋势,把高新视频业打造成为面向未来的、技术起点更高的新业态、新赛道;二是加快建立全产业链集群,带动多领域、多层次的技术集群创新。高新视频是一项复杂的系统工程,需要有机整合技术研发、内容制作、设备生产等分散资源,不断夯实科技引领行业高质量创新性发展的强劲引擎;三是强化企业创新主体作用,构建产学研用协同科技创新体系。高新视频是一项高科技综合创新应用发展的产物,必须强化企业科技创新主体地位,发挥科技型骨干企业引领支撑作用。”
技术创新助力高新视频发展
在5G、人工智能、大数据、云计算、区块链、物联网、XR等新兴数字技术的不断创新发展下,高新视频得到了质的飞跃和量的爆发,应用场景越来越广泛,视频展示的方式越来越丰富,让人们切实感受到了高新视频所带来的全新体验。
虚拟现实、沉浸式视频以及去年各行各业热议的元宇宙,使得XR技术近几年也得到了长足的发展,北京航空航天大学新媒体艺术与设计学院院长、国家虚拟现实重点实验室原副主任沈旭昆表示,扩展现实(简称XR)是由计算机和可穿戴设备营造的真实环境和虚拟环境组合以及人机交互应用,是AR、VR、MR等多种技术的统称,通过XR为体验者带来虚拟世界与现实世界的无缝转换沉浸感,XR被视为下一代移动计算平台。数字孪生是采用虚拟现实技术构建物理实体的虚拟对象,并在两者之间建立双向数据通道。目前,重大的科技问题是要打造虚实贯通的新一代沉浸式混合增强智能计算平台,而重点研究方向是VR场景智能建模与绘制、智能感知与自然人机交互、数字孪生与虚实空间贯通。想要在医学、文旅以及复杂系统等场景内实现创新应用,需要运用三大关键技术,一是虚实融合计算与体验模式构建技术,用于研发沉浸式技术引擎;二是感知一致性增强的多模态沉浸呈现技术,用于建立集成计算及通信平台;三是智能感知交互与沉浸互动技术,用于建立数字资源库和开放服务平台,从而实现建立沉浸式互动技术集成与服务平台。
目前,AR技术正在不断扩大应用市场,已经成为现象级的技术应用。江苏省广播电视总台转播部副主任徐徯表示,AR技术综合应用数字雕刻、面部捕捉、动作捕捉、动画绑定、AI语音合成、材质绘制、贴图扫描、实时调色等技术,将虚拟元素与现实环境在时间和空间上实现统一,突破传统舞台舞美置景的思维模式,为节目带来更多的创意空间。但由于是将虚拟画面和实拍画面叠加合成,涉及精确控制、画面匹配、颜色的调整、灯光的配合,需反复磨合调整,在直播中尤其需要多技术工种的紧密配合,一个环节的质量缺失,就会导致最终输出画面的“假”和“飘”。
沉浸式视频作为高新视频的关键发展方向之一,中广电融合(北京)科技有限公司执行董事周耀平表示,沉浸式视频是一种以裸眼观看获得身临其境感受,覆盖人眼至少120°(水平)×70°(垂直)视场角和具备三维声的音视频技术。沉浸式视频通过投影或LED屏等显示介质、多扬声器构建超大视角、超高沉浸感的视听环境,观众能在一个视点上同时看到和听到周围多方位的信息,体验到传统视频无法展示出的强大沉浸感,是一种迭代技术。而沉浸式视频的核心要素包括三个方面:画面包围感、画质、声音包围感。其中,画面包围感通过对水平视场角、垂直视场角和特殊的幕形来呈现;画质通过分辨率、动态范围、色域、帧率和色深等重要技术指标来实现;声音包围感通过采用三维声技术及对还音系统声道数的要求来实现。
而随着超高清LED显示屏技术的快速发展,LED屏正在越来越多地被应用于各种公共场所中,而体育场馆就是其中的代表。通过在场馆中铺设大面积的超高清显示屏,现场观众获得了更优质、更具沉浸感的观赛体验。洲明科技高级显示专家白洋表示,当下,体育场馆显示屏正逐渐演变为高清、高刷的屏幕,为观众完美呈现比赛。显示屏的技术演变也推动了赛事转播和内容制作的演变,传统赛事仅需要几台摄像机,而拍摄2022年北京冬奥会时使用了约600台摄像机,并且使用了4K+8K超高清显示,还加上了5G技术支持,为观众带来了一场视觉盛宴。而在北京冬奥会的开幕式与闭幕式上使用的地砖屏是史无前例的,除了用于视频展示以外,还有裸眼3D的内容,观众在观看时,可以得到一种非常绝妙的沉浸式体验。并且还使用先进跟踪系统,与LED屏搭配起来使用时,能够跟踪现场的情况,快速显示实时生成的内容。
在北京冬奥会开幕式上,《雪花》这个节目实现的实时特效为全球的观众带来极大的震撼。北京电影学院声音学院艺术与科技专业负责人韩柯作为实现这项技术的专家之一,他表示,《雪花》节目从创意到内容设计、技术呈现,是技术创新和设计创意相互促进,最后综合展现的过程,是对科技赋能艺术的一种解读,同时也展现了北京冬奥会开幕式的科技之美。运用科技手段,可以打破传统演出现场的节目效果和呈现形式,让演员不需要通过反复排练,就能呈现极致的视觉效果。《雪花》这个节目的表演主体是600多名孩子,孩子们在场上自然活泼地表演,视觉效果不应该影响他们的表演,不能喧宾夺主,于是运用了实时特效来解决这个问题,只用了4台观众席架设的工业相机实现了1万平方米里的互动、500个互动对象的目标检测和位置跟踪,最终的跟踪误差小于15厘米,目标检测的时间小于70毫秒,孩子们走到哪里,雪花特效就跟到哪里。
中国传媒大学媒体融合与传播国家重点实验室研究员、数据科学与智能媒体学院副院长叶龙表示,视听信息的传播模型与传播规律是媒体融合传播的基础,是“卡脖子”问题,是流量密码,是文化认同,是国际传播的关键。掌握基于信息计算的信息传播规律将占据未来发展先机。不同视听内容形态要面向不同的垂直行业应用,根据不同的应用场景布局内容生产方式、内容传播方式以及终端呈现方式。以智能化内容处理为抓手、以虚实融合为桥梁、以媒介传播为工具,借助高新视频手段进行文化、工程、艺术交叉的有组织的科研创新,是应对未来全媒体时代全行业发展的有效手段。
中央广播电视总台视听新媒体中心先进影像团队负责人姜华指出,视听新媒体中心将打造“央视频虚拟主持人生产力平台”,建设AI全流程采编+播出系统,拥有AI组稿-人工审核-AI虚拟演播室录制-智能发布的全流程AI制作工序。实现自主发现新闻热点,更加高效地生产新闻资讯类内容,更加便捷地生产无主持人内容,实现文档与媒体资源的快速对位。搭建总台虚拟主持人形象库,搭建总台主持人虚拟形象的本地形象、声音库建立,实现总台主持人形象的本地化调用。