1.2. 问题及解决方案
在多传感器同时工作的系统中，数据同步和投影对齐一直是一个挑战。特别是在复杂场景下，如自动驾驶车辆在不规则的地形上行驶。实际应用中导致投影误差的原因有很多，包括运动补偿、时间同步、刚性连接等问题。
1.2.1. 动态补偿
点云畸变是由于激光雷达采集数据的过程中，随着载体运动导致一帧点云中的点不是在同一时刻采集的，即不同激光点的坐标系不一致，现代的激光雷达大部分都提供了每个点的时间戳信息，这为点云去畸变提供了基础。
上图中展示了当车辆直线运动时的Lidar扫描的信息，假设Lidar采样率为10HZ，那么Lidar每旋转一圈需要100ms，在100ms的时间内车辆行驶了2.22m，如上图右侧所示；每25ms激光雷达旋转90°，上图左侧展示了从触发开始，到扫描一圈结束后Lidar所扫描到的区域，最右侧的绿点是开始时刻位置，每25ms移动一个单位并旋转90°直到转一圈结束，可以看到扫过的轨迹并非直觉的圆形，而是一个螺旋线，去畸变（运动补偿）的目的就是把所有的点云补偿到某一时刻，让扫描的点云统一到一个时间点上去，这个时间点可以是起始时刻，也可以是结束时刻，也可以是中间的任意时刻。
由于Lidar计算点坐标时，都是以接收到激光束时刻的Lidar自身坐标系为基础的，所以载具运动过程中，每一列激光点的基准坐标系都是不一样的，但是他们在同一帧点云里，我们希望能统一在同一个坐标系下，所以我们需要知道每次采集时的坐标系相对于初始时刻坐标系的转换关系。
上图是一个去畸变的过程示意图，其中绿色的圆是开始时刻的Lidar位置，螺旋线是车辆移动时扫到的信息，而正圆是车辆静止时扫到的信息，我们需要将点补偿到正圆上（因为开始时刻是没有运动的，所以不需要调整点），粉色的点是25ms时Lidar扫到的点，需要补偿至右侧的粉色的点上，在原点中心的棕色点是50ms时需要补偿至右侧的中点，紫点和黄点分别对应75ms和100ms的情况。
1.2.2. 时间同步
另外一个比较容易被忽略的问题是数据采集的时间同步。在很多数据采集方案中，数据同步可能并不是硬同步，而是通过PTP（精密时间协议）做的时间同步。在这种情况下，相机的时间戳可能指的是触发时间而不是实际的曝光时间。
这就导致如果我们仅仅通过找雷达和相机时间戳最近的匹配来进行对齐，很可能会导致因时间戳误差引起的数据不同步问题。即由于曝光时间和触发时间的不同步，导致了激光雷达点云和相机图像的投影对齐存在偏差。我们平台提供了可视化工具，可以快捷、直觉的处理时间同步问题，提高数据质量。
对齐前后对比，左图为对齐后，右图为对齐前
1.2.3. 数据有效性校验
由于车辆的颠簸和振动，即使是原本刚性连接的传感器，也有可能会产生偏移，从而导致数据同步和投影对齐上的问题，在一些Case中我们就发现了这样的问题。由于采集车需要在多种路面上行驶，行驶过程中的颠簸可能会造成刚性连接的震荡，从而出现了一些偏移。这种问题往往难以直接察觉且随机发生，但它可能导致整个系统的输出质量下降。
为了解决这个问题，我们提出了一种基于反射率的投影校验方法。具体来说，我们将反射率在一定范围内的点云映射到2D图像上，以此来判断映射是否偏移过大。例如，在进行车道线标注时，车道线的反射信息通常较强，因此我们可以将这部分点云映射到图像上，并根据投影的结果迅速判断当前数据是否有效。如果车道线的投影出现了偏差，我们就可以认为传感器出现了偏移。这种方法的优点在于，它能够实时监控传感器的状态，并且利用已有的数据快速做出判断。
1.2.4. 性能限制的问题
Tesla通过采用multi-trips标注策略，有效提升了标注效率，关键在于将同一地理位置的多个trips数据进行聚合标注，以降低成本。很多trips的数据出现在同一地理位置上，比如一个路口可能会有十几个trips经过，一个很自然的想法就是将这些trips进行聚合，统一进行标注，来平摊标注的成本，这和19年先进行重建再进行标注降低成本的原理是一样的。该步骤的技术点包括地图间的几何匹配、地图更新策略和结果联合优化。带来的收益是很多极端情况的case（黑夜、雨雪天等）出现的区域已经进行了标注，可以通过聚合或者定位的方式获取真值数据。以上两种情况都是建立在采集车辆足够多，数据量非常庞大的基础之上提升标注效率。
针对multi-trips的4D标注，让每个标注员都能处理数十公里区域的大量点云数据（超过10亿）成为挑战。因此，需要探索比点云更稀疏的全局地图表征方式，以在维持标注质量的同时提高处理效率。
Multi-trip采集的大范围场景数据
针对性能限制问题，我们采取了以下措施：
平台已支持自动重建4D数据地图，通过增加位姿信息并导入至MooreData平台，可高效获得全局地图，支持实时数据叠帧或拆分，提升标注的精准性和效率。
对于multi-trips点云数据，工程师采用线下重建方式，包括噪点清除、特征提取及拍平处理，有效压缩数据，以适应性能需求。
1.2.5. 动态物的标注
在之前的分享中专门为动态物体标注设计了的单独章节，但更重要的交互问题并没有过多着墨。所以分享将结合交互来更详细地介绍如何使用4D工具进行数据标注。
4D中进行动态物体标注场景最大的困难是交互。这主要是因为在车流密集的环境下，场景变得极其混乱，以至于理清车辆和个别点之间的关系就成为了一项艰巨的任务。为此，需要一种能够清晰呈现不同时刻和物体之间关系的方法。
为了有效地验证数据并确保标注的精确度和效率，我们在点云动态拼接过程中引入了更高的灵活性。考虑到复杂场景下的使用需求，尤其是动态和静态物体共存的情况，我们采用了动态拼接技术，从而增强了工具的通用性。这项技术使我们可以根据具体需求来拼接全局地图或特定区域的点云，以适应不同的标注策略。这样的调整加强了数据生产的可操作性的同时，也提高了标注规则的灵活性。
带动态物的全局地图是非常非常杂乱的，不同时刻的不同动态物会混在一起，所以如何从无到有生成第一批标签是我们投入了最多精力的部分。为了解决上述问题，我们设计了以下的标注流程：
Pseudo label生成：激光雷达（Lidar）的域差异性极大，普通的模型在跨域的数据中效果极差，生成的Pseudo label根本无法达到可用标准，所以我们的初始模型借鉴了ResimAD的思路，通过simulation做了一次归一化，这样在陌生域的检测效果达到了可用的级别。基于上述模型获取粗略的Pseudo label，但仍然存在框不贴合、属性错误和追踪错误等问题。
ResimAD Architecture
Pseudo label调整：尽管有跨域模型，但Pseudo label效果可能不稳定。我们手动调整不准确的框，并通过平台交互功能快速定位问题帧。修复关键帧后，利用模型再次生成Pseudo label，提高标注质量。
标注质量校验：完成所有对象的调整后，我们进行质量校验。这包括聚合所有框以检查bbox质量，并单独显示对象的轨迹以检查追踪质量。校验通过的数据被视为高质量数据。
1.2.6. MLOps套件
MLOps套件是旨在提高标注效率和降低标注成本的系统。如我们上文展示的效果，基于跨域模型生成的Pseudo尚待进一步改进，无法达到我们对模型表现的期望。所以我们需要依赖在平台生产的数据迭代出一个好用的预标注模型。
为了提升效率并实现对已标注数据的最大利用，我们引入模型训练的Workflow。借助于已标注数据的回馈，使得数据能够产生“复利”。这个过程不断优化模型的表现并降低标注工作的成本。我们采用了AutoDL的思想来使得没有相关背景的项目管理和运营人员也可以依托平台的可视化界面轻松训练出一个有助于提升标注效率的模型。
后端运行的模型赋予了我们在计算量问题上的极高自由度。为了实现更高的精度（Precision）与查全率（Recall），我们可以考虑采用更大的模型。这个过程中，我们设计主要考虑以下几个需求：
让模型快速收敛
利用模型更高效的赋能标注
利用Vector选取有代表性的数据
Bi3D Architecture
低IoU但修改成本低
高IoU但修改成本高
2077AI计划
整数智能信息技术（杭州）有限责任公司，起源自浙江大学计算机创新技术研究院，致力于成为AI行业的数据领航员。整数智能也是中国人工智能产业发展联盟、ASAM协会、浙江省人工智能产业技术联盟成员，其提供的智能数据工程平台（MooreData Platform）与数据集构建服务（ACE Service），满足了智能驾驶、AIGC等数十个人工智能应用场景对于先进的智能标注工具以及高质量数据的需求。
目前公司已合作海内外顶级科技公司与科研机构客户1000余家，拥有知识产权数十项，通过ISO9001、ISO27001等国际认证，也多次参与人工智能领域的标准与白皮书撰写，也受到《CCTV财经频道》《新锐杭商》《浙江卫视》《苏州卫视》等多家新闻媒体报道。
