2022年3月5日是北京2022年冬残奥会首个比赛日，残奥冰球项目在国家体育馆拉开战幕。在中国对战斯洛伐克的首秀中，电视机前的观众看到了不同以往的转播画面——比赛精彩瞬间的自由视点（也叫“子弹时间”）回放。这一电影特效镜头在比赛直播中得以实时实现，并且出现在了随后的每场比赛转播中，让全球观众大开眼界。而这正是北京大学智能学院陈宝权教授带领国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”项目团队完成的研发成果，该项目团队集合了相关领域地优势力量，成员来自高校（北大、北航、清华）、国家实验室（鹏城实验室）和企业（优酷、联通、歌华、创维）。

北京冬残奥冰球比赛转播“子弹时间”视频制作

作为首次在我国举办的冬季奥运会，举世瞩目的2022年北京冬奥会也成为了新视频技术的绝佳展示机遇。针对冰雪运动的特点，陈宝权教授领导重点专项团队突破自由视角视频和虚拟现实（VR）视频节目拍摄、内容生成、高效编解码、自适应传输和交互式呈现等关键技术，研制节目采集系统、内容生成系统、实时编解码器、自适应传输系统和交互式终端，最终实现一套端到端交互式多维度观赛转播与体验系统，改变了以往观众只能被动观看电视导播画面的局限，使终端用户可以选择任意位置和角度观看比赛，革命性提升了用户的观赛体验，让视频技术从“看得见”、“看得清”进入“看得真”的交互观赛时代。

项目负责人陈宝权教授

项目成果在北京冬奥会测试赛中先后应用于国家体育馆冰球项目、国家速滑馆速滑项目、首都体育馆花样滑冰项目和五棵松体育馆冰球项目。该系统将精彩回放视频的生成与传输所需要的时间开销从当前国际主流系统的几分钟降低到仅仅几秒，从而极大地提高了奥运转播的时效性和观赏性。

测试活动——国家体育馆冰球比赛项目（2021年4月）

测试活动——首都体育馆花样滑冰项目（2021年10月）

陈宝权教授接受央视采访

该项新技术从冬奥测试赛开始便受到了广泛关注。“自由视点”观赛的惊艳效果受到了包括央视、人民网、新华网、科技日报、北京2022年冬奥会官方频道、凤凰网等国内外数十家媒体的采访报道，被称为“科技冬奥”的黑科技。

在测试赛期间，这些技术突破获得了国际奥林匹克广播服务公司（OBS）工程技术总监的关注和高度认可。在冬残奥会期间，项目团队受到OBS的特别邀请入驻国家体育馆，全程参与冬残奥冰球项目正赛的转播。到冬残奥会结束，项目组共计服务16场比赛，累计提供了200余段精彩瞬间的回放。而其中17段被OBS公共转播信号采用，通过广播电视和网络直播传播至全世界。

OBS工程技术总监Isidoro Moreno接受央视采访对该项技术高度评价

北京冬奥会期间，“冰雪项目交互式多维度观赛体验技术与系统”项目成果作为科技冬奥项目代表性成果之一，在北京冬奥村“北京小屋”展出，获得近千人次国内外运动员、教练及赛事组织官员的参观与体验。交互式多维度观赛系统作为科技冬奥的代表性成果入选国家“十三五”科技创新成就展。

冬奥村“北京小屋”（冬奥期间）

陈宝权教授积极参与该项技术的科普工作。他受北大团委邀请，给北大600多名冬奥学生志愿者讲述科技助力冬奥，他还受北京冬奥组委的委托，制作科技教程，给来自全国各地的冬奥志愿者做培训。2021年12月31日，陈宝权教授受邀参加北京广播电视台科教频道“2022科学跨年之夜”节目，向观众介绍该项技术的历史背景和研发过程，讲述如何将需要数千台计算机花费一年时间才能制作出几十秒钟视频的电影特效变成实时技术，给观众展现了交互式自由视点视频技术如何让观赛身临其境，让观众体会从“看得清”到“看得真”的视频转播技术革命。

左：2022科学跨年之夜；右：北京2022年冬奥会冬残奥会北京大学总结表彰大会

基于项目团队在北京冬奥中的突出贡献，北京冬奥组委和科技部分别给项目团队发来成果应用证明和感谢信。2022年4月，“北京2022年冬奥会冬残奥会北京大学总结表彰大会”中，陈宝权教授作为北大科技助力冬奥的代表在大会上做了分享演讲。而在2022年12月“北京大学2023年新年联欢晚会”中，陈宝权教授将作为《这十年》北京大学为国家发展作出贡献的三个方面代表之一，为同学们讲述科技冬奥的故事。

科技部和北京冬奥组委发来感谢信和成果应用证明

陈宝权教授简介：

陈宝权教授长期从事计算机图形学、计算机视觉与可视化方向的研究，特别是在大规模三维场景的获取与重建方面开创了一系列前沿研究并取得了具国际影响力的重要研究成果。此前，相关成果“基于中层几何结构的三维重建理论与方法”获得2020年度中国计算机学会自然科学一等奖， “复杂三维形状的高效生成、分析与制造”获得2020年度山东省自然科学一等奖。因为在可视化领域的贡献，他于2020年当选 IEEE Fellow，2021年入选IEEE Visualization Academy（可视化名人堂），他同时也是中国计算机学会会士和中国图像图形学会会士。

项目主要技术创新：

端到端自由视角视频系统。形成了完全自主知产权的端到端技术，实现了完善的现场拍摄-云端处理-客户端交互的端到端技术链路；在云端重建方面，实现了基于三维重建技术的自由视角视频，以及基于相机阵列采集图像进行高精度大范围的场景三维深度重建；在自由视角视频表达和压缩方面，提出了基于稀疏纹理和深度的自由视角表达和压缩算法，极大地降低自由视角视频的压缩码率，使用户可以在普通网络带宽下也可以体验自由视角；而在用户交互方面，经过深度优化的终端视点重建算法支持实时重建虚拟视点，并且在主流手机上即可进行流畅的自由视角互动体验。

五棵松体育中心竞赛馆内环廊吊装和国家体育馆铺轨架设的相机

比赛场馆相机拍摄画面

冬奥赛事孪生推演与VR视听语言创意设计。针对冬奥热点赛事项目，项目团队设计VR直播方案并构建了冬奥场馆的三维数字孪生环境。在VR直播方面，使用更清晰、更全面、更多感官体验的VR全景直播系统，以“新视角”、“镜头智能跟踪”、冰球的重点镜头和氛围镜头为侧重，营造冰球赛事独特的魅力。在冬奥赛事的三维数字孪生方面，基于该数字孪生实现动态对象个性化部署、多相机高真实感模拟、多相机快速拼接、创意VR内容生成等功能，完成创意设计的修正反馈和逼真推演。

以“新视角”“镜头智能跟踪”、冰球的重点镜头和氛围镜头为侧重，营造冰球赛事独特的魅力

AVS3 8K实时视频编码器与自适应传输系统。基于我国主导制定的面向8K视频应用的新一代视频编码标准AVS3，项目团队发明一系列快速编码模式决策技术和并行编码技术，研发成功8K视频实时编码器，编码效率国际领跑，可以被广泛应用在5G 8K电视广播、8K VR直播和自由视角视频直播等领域。面向VR视频的高效表达和动态传输，项目团队提出等角金字塔等非均匀映射模型，并基于人工智能技术提出用户感兴趣区域预测，大幅度提升了VR视频的清晰度，并可以节约70%以上的传输带宽。

首套基于AVS3标准的8K编解码器与端到端系统、比H.265节约30%码率

8K机顶盒。针对大家对运动赛事的极高清观看需求，项目团队开发了支持8K/60帧视频解码的极高清8K机顶盒，机顶盒支持国产AVS3 8K解码标准，支持 8K VR/360全景节目的超高清直播和点播能力，突破了传统电视的应用范围和需求的局限性，为用户传达具有完整性、沉浸感、现场感、时空感及互动交互性等多维度体验感的视频信息，全面升级用户体验可以最大限度的还原运动赛事画面的清晰度和流畅看。

VR与自由视角视频表示、编码与传输标准。基于上述成果，项目团队整合核心技术形成自主VR与自由视角视频标准，目前已经被立项为 20192086-T-469，《信息技术 虚拟现实内容表达 第 2 部分：视 频》国家标准，并在国际IEEE标准立项：IEEE 1857.9：Immersive Visual Content Coding。引领建立我国自主VR与自由视角视频生态，并辐射国际。