巴黎奥运会乒乓球赛事转播含“AI”量极高！转速、落点、轨迹均实现可视化

本届巴黎奥运会乒乓球国际公共信号转播采用了上海广播电视台旗下上海东方传媒技术有限公司（SMT）的InnoMotion体育赛事AI产品。在乒乓球赛事中，InnoMotion采用无感知动捕技术结合AI深度学习，利用基于深度卷积神经网络的回归模型进行乒乓球姿态四元数预测，实现乒乓球比赛中转速、转向、轨迹等实时数据采集、分析并采用3D和MR技术呈现。这也是奥运会历史上首次将AI技术应用于乒乓球赛事的国际公共信号制作。

本文将通过技术部署、技术实现以及可视化呈现三个方面，具体阐述InnoMotion在巴黎奥运会乒乓球项目的实际应用。

奥运会对场地内设备的架设有着严格的要求，主要是为了保证转播画面不被干扰，为此InnoMotion团队对AI采集摄像机进行了针对性的优化，具体架设方案如下图所示。

在场地的两侧共架设了3组AI摄像机，分别为主裁判身后1组、副裁判身后2组，相机的高度分别为2.5米和2米。三点架设的意义在于能有效覆盖运动员的活动区域，同时可以弥补架设高度的不足。奥运会乒乓球转播的主机位位于球台的正侧上方，因此该架设方案也有效避免了AI摄像机点位在主机位画面中的穿帮。

另外一组相机位于球台上方8m左右，该相机的架设能有效地避免运动员对球的遮挡，更好地辅助AI相机采集的精度。

AI采集摄像机的部署主要解决如下两大问题。

首先是解决相机架设点位和角度问题。运动员在比赛中会遮挡AI摄像机拍摄球的画面，一般会通过多组多角度的架设来解决遮挡问题，但是由于场地的限制和公共信号制作相机穿帮的限制，AI摄像机架设的数量实则越少越好。因此通过大量的数据采集，InnoMotion团队构建出了一套最小遮挡的架设方案，并通过AI的预测算法将少数遮挡画面弥补到数据中。

其次是解决相机视野覆盖问题。乒乓球场地相对较小，且方案是架设在场地窄边的两侧，因此拍摄视野必须广，但是镜头越广画面畸变会越严重，对三维重建精度产生影响，为此团队也进行了大量测试，最终采用4.5mm和8mm两种镜头相结合的方式，通过算法优化畸变，实现AI采集摄像机对比赛场地的全覆盖。

本次巴黎奥运会InnoMotion体育赛事AI产品乒乓球系统共分为三个部分：人工智能采集部分、数据记录和分发部分以及数据可视化部分。

人工智能采集部分主要负责原始数据采集，通过AI算法实现3D信息的转化及预测；数据记录和分发部分主要负责原始数据的记录、筛选及分发；数据可视化部分主要负责数据的可视化还原及播出。

AI算法

人工智能采集部分的算法主要采用二维图像采集3D重建。具体步骤如下：

首先，将相机采集到的每一帧数据送进深度卷积网络模型，并得到结构化信息。通过基于RetinaNet的深度网络结构，获取运动姿态信息，并回归该运动姿态相对于拍摄视角的朝向四元数。

然后，算法对多相机的二维平面图像识别结果进行3D重建，以还原乒乓球的3D飞行轨迹、运动员的3D运动轨迹和人体关键点的3D运动轨迹。同时采用三角测量3D重建算法，确定各个关键点的3D坐标。三角测量算法是根据相机外参标定确定相机在预设三维坐标系中的坐标，将每个相机作为原点与观测到该视角下的目标关键点连线，求解多个相机线的交点即为目标关键点3D坐标值。三角测量示意如下图所示。

三角测量示意

最后，对乒乓球每个时刻的3D坐标进行分析，结合内外参标定中确定的球桌、球网等参照物的3D坐标，输出乒乓球的3D轨迹、击球点统计、落点统计、转速转向统计等数据。其中针对转速转向数据，是将顶视相机图像输入深度学习目标检测模型，得到乒乓球图像的位置；通过图像输入四元数比对模型得到对应的乒乓球姿态四元数（四元数是对乒乓球3D旋转角度的一种数学描述形式）；最后根据四元数的旋转差值计算出乒乓球的转速和转向。

AI数据采集

算法处理流程是将每一个过网的被相机侦测到的乒乓球，通过后台2D转3D处理实现坐标重建，并生成轨迹和落点；其中高速摄像机侦测乒乓球的旋转姿态，并通过AI技术实现转速转向的精准预测。

算法流程图

原始数据通过多角度乒乓球2D图像采集，并采用AI算法获得3D坐标信息。3D坐标信息需要在后台进行筛选、纠错处理，形成有效3D坐标序列，并通过可视化渲染引擎实现轨迹、落点等可视化。

信号流程

本届巴黎奥运会乒乓球AI数据可视化共使用了3种呈现技术方式，分别是AR呈现、MR呈现以及3D动画呈现，这3种呈现方式的信号流程各有不同，技术实现也各有差异。

AR信号流程本届奥运会共采用了2个机位来呈现AR轨迹效果，分别是主机位和摇臂机位。两个机位都采用红外跟踪定位的方式实现摄像机的精准定位。由于转播技术系统与场馆距离较远，而AR引擎被放置在场馆内的操作区，因此所有信号都是通过光纤传输，AR引擎合成后的信号传送给导播台用于公共信号制作。

MR信号流程为更好地呈现乒乓球转速转向的可视化效果，InnoMotion采用MR技术手段呈现转速转向效果。利用转播画面中超高速相机的慢动作画面进行MR效果合成，超高速摄像机画面信号输入MR引擎进行图像追踪和动画效果合成，并将合成后的信号分发给EVS和切换台，实现合成信号直出或者回放播出。

3D动画信号流程乒乓球落点是通过3D动画来还原呈现的，3D动画合成引擎将AI采集的落点数据在引擎中进行可视化实时渲染，形成3D可视化落点合成信号，并直出给切换台，由导播老师直接进行3D落点合成信号。

本届奥运会乒乓球AI数据可视化呈现主要由如下几个模版组成。

转速转向可视化效果

转速转向的可视化模版采用MR合成制作方案，该效果能够更直观地呈现转速转向效果，效果如下图所示。

系统通过获取超高速摄像机信号由引擎合成慢动作MR效果画面，系统中慢动作时间码与后台AI数据实现联动，慢动作画面回溯的每一个球都会自动匹配后台转速转向的数据。

制作流程是：由AI团队播控操作员与慢动作回放操作员配合，确定画面与转速转向的数据是对应的，并在播放慢动作画面时同步展示转速转向的MR合成效果。

落点可视化效果

落点的可视化效果是通过3D动画实时播控呈现的。“局”结束后获胜方运动员的所有落点通过3D还原在回放中集中展示，其中致胜球落点以高亮形式展示，效果如下图所示。

落点展示主要分为局获胜方落点和致胜球落点展示、局获胜方致胜球落点展示和回合获胜方落点展示。

制作流程是：当回合或一整局结束时，后台数据库会接收到局结束指令，并迅速生成获胜方的落点坐标信息，整个过程控制在200ms内，播控人员根据导演的指令播出落点的3D动画。

轨迹可视化效果

轨迹可视化模版采用AR技术实现。团队设计师根据奥运会视觉设计文案，设计了具有渐变效果的实时轨迹，既能清晰地展示轨迹路径，又可以很好地融入赛场环境的主色调中，画面效果如下图所示。

同时在AR轨迹中增加了落点的残影，能够让观众更直观地看清快速回合中轨迹与落点的关系，也取得了不错的视觉效果。

制作流程是：AR轨迹是实时画面合成，因此回放播出的轨迹效果直接有慢动作供导演选择，可以在一个精彩的回合后快速地回放播出。

本届巴黎奥运会在乒乓球和射箭项目上采用InnoMotion体育赛事AI产品既是奥运会历史上首次将AI技术应用到这两个项目上，也是国产自研AI技术首次在这两个项目的国际公共信号制作中应用，是一次“中国智造”在国际舞台上的有力宣推，大大鼓舞了团队，为InnoMotion体育赛事AI产品下一步发展注入了新的催化燃料。

推荐阅读

我知道你在看哟