本文系微信公众号《大话成像》，知乎专栏《all in camera》原创文章，转载请注明出处。 大话成像读者QQ 交流群 ：833282006 大话成像技术论坛：ww.dahuachengxiang.com
本站系列教学视频《图像传感器技术与应用》《成像系统图像质量调试》《成像算法基础（python版）》 《成像系统镜头光学》《新版图像质量测试测量与国际标准》《新版cmos sensor测试测量与国际标准》《新版数字成像系统42讲》课程大话成像淘宝官方网店有售：
https://shop322456667.taobao.com/
在 EVS2024 上，发现了两个有意思的演讲。一个是 BDTI 带来的针对芯片厂商的犀利剖析，另一个是 Hayden AI 分享的关于芯片使用者构建视觉 AI 产品的关键准则。这两个演讲从不同角度出发，无论是芯片的生产者还是使用者，都能从中获取宝贵的经验和启示。
针对初创芯片公司：
1. 没有回答“为什么要用这颗处理器”
在当前国内芯片竞争激烈的环境下，这无疑是一个极为突出的问题。众多芯片在功能和性能方面缺乏显著的差异化，使得客户在选择时难以抉择，接受度也不高。对于新推出的处理器而言，常常存在这样的情况：要么没有基准测试，无法让客户直观了解其性能水平；要么基准测试的结果不佳，无法体现出优势。同样，新的工具套件或深度学习框架也存在类似问题，没有清晰地说明自身相比其他产品的优势所在，即便有所说明，却缺乏相应的证据、合理的解释或者实际的示例来支撑，这让客户在面对众多芯片产品时，很难找到一个令人信服的理由去选择某一款特定的处理器。
2. 没有经过充分的测试（或者说就没有测试过）？
评估板无法启动、固件旧且与网站最新固件不兼容、示例代码无法工作、外设不支持、工具崩溃等。
3. 不完备的Model Zoo
虽然每天都会诞生很多新的模型，但是还是需要对一些典型的网络进行支持和优化，例如MobileNet, YOLOv5, YOLOv8等。
4. 文档缺失、文档较少、文档过时
在前沿技术领域，缺乏、错误或过时的文档是个问题，但是对于NPU ISP等IP的新特性还是要有详细的文档。
5. 太多没有必要的介绍资料
6. 没有入门指南或 “Hello World” 示例
对于新的处理器或工具，缺少能够帮助用户快速上手的指导内容。以计算机视觉领域为例，缺乏典型的 AI/ML 流程示例，具体来说，像如何获取图像、怎样进行预处理、如何开展推理、怎样实施后处理以及如何显示结果等方面均未给出明确指引。
7. 没有针对IP或驱动的源代码
和第四条对应，针对ISP NPU 等核心IP 的使用除了文档还要有对应的使用源代码。
8. 加速器低于预期
许多芯片都集成了 NPU 或 GPU，然而在实际使用中却困难重重。例如，内存过小，无法运行期望的网络；算力不足，难以满足需求；仅支持 4 位量化，限制了应用范围；工具链支持欠佳，影响使用体验。总之，加速器的性能往往达不到预期水平。
9. 外设支持不足
比如宣称支持MIPI CSI-2，但是只支持2lane，并且还没有在开发板上引出来。
10. 软件升级后影响原有功能
针对初创芯片公司：
1：专注解决实际客户问题
l 先解决特定问题
l 将营销炒作和解决实际问题区分开
l 寻求最简解决方案，不是所有问题都用 AI 解决。
2：不要过度追求GPU资源
l 考虑在推理时如何减少数据 / AI 计算需求
l 训练时是否需要建立这么大的数据?
3：尊重技术差距
考虑构建产品是否需要基础科学或工程创新，关注研究人员和实践者之间的差距等。
4：不要过度限制传感器而人为制造难度
在感知和执行方面应合理选择传感器和执行器，如使用深度、测距传感器或者RTK等，并做好校准。不要因为减少传感器而让算法变得很复杂甚至无法达成。
5：使用先验知识
在半结构化环境中利用先验知识。
6：拥抱多模态，多传感器是好事
比如通过经典卡尔曼滤波等方法进行传感器融合，包括 GNSS、IMU、相机等多模态数据处理。
7：优化数据质量
l 数据采集质量至关重要，选择合适的图像传感器、镜头，保证传感器间时间同步
l 注重训练数据质量，hard negatives
8：选择正确的指标
使用多个目标指标且确保它们相关性不高。
9：不要滥用大模型
10：仔细选择 AI 推理计算资源
了解开发总成本，AI TOPS 不是唯一标准，要考虑异构计算、内存带宽、算子支持、精度、利用率等多个因素。
