249美元迷你版超算,撬动万亿AI市场靠这个“玩具”

文摘   2025-01-04 09:28   重庆  
此前我们曾做过一个以AI开发板为主题的系列文章,当时选择的是国产的聆思CSK6开发套件,两百多元的价格和大量预装的边缘计算AI应用,以及免费的在线星火大模型配套,让它很适合作为纯新手小白理解和学习AI开发的第一个跳板。

而事实上在AI开发板领域,英伟达一直都是最重磅的角色之一,因为其CUDA生态对AI开发的先天优势,也让其触角可以延伸到边缘计算和嵌入式AI的领域,所以在2019年他们就推出了Jetson Nano系列开发板,当时就直接板载了Maxwell架构的GPU核心并配置了4GB内存,使其AI推理性能在同类产品中一直处于领先位置,而就在12月中旬,英伟达再次更新了Jetson Nano系列,推出了全新的Jetson Orin Nano Super,那么,这个新的AI开发板又有哪些看点与优势呢?

01

巴掌大小的机器人开发平台
最高67TOPS AI算力
 
在Jetson Orin产品线中,Nano 是入门级的意思,而 Orin 是平台产品代号,上一代是 Xavier。它的开发者套件集成了包括散热器、外壳、I/O 接口等配置,可以实现开箱即用,特别适合学生或者实验室用途。
作为目前Jetson Orin Nano系列的最强选手,Jetson Orin Nano Super的GPU搭载了1024个Ampere架构CUDA核心和32个Tensor Core,运行在1020MHz频率下,除此之外还有8GB 128bit LPDDR5内存。
这一系列规格使其INT8(八位整数)稀疏AI算力峰值在25W高功率模式下,可以达到67TOPS(每秒可执行67万亿次操作),密集算力也能达到33TOPS。作为对比,此前我们测试的聆思CSK6只有128GOPS(每秒可执行1280亿次操作)的INT8稀疏算力。   
那么,具象化来说,这个参数能达到什么水平呢?简单而言,它采用了和大家可能更熟悉的RTX 30系列显卡同架构的4组GA106核心,而RTX 30系列的入门级产品RTX 3050采用了10组GA106核心,再考虑到核心频率和显存规格的差距,Jetson Orin Nano Super的性能可以粗暴理解为RTX 3050的25%~30%左右。  

 

Jetson Orin Nano的产品体型十分小巧
这么听起来是不是感觉不咋地了?其实不然,开发板和显卡的应用方向不同。和此前的NX系列一样,Jetson Orin Nano Super的体型也非常小巧,只有成年男性巴掌大小,通过加装NVMe SSD、无线网卡、摄像头等组件,结合ROS(Robot Operating System)机器人操作系统,使其成为AI机器人开发的专用迷你平台,你总不能给边缘设备装一台巨大的传统PC吧?
而且Jetson Orin Nano Super只是Nano这个系列下的最强,在整个Jetson产品线里还有工业级的Jetson AGX Orin模组,最高有64GB板载内存,GPU稀疏算力峰值可以跑到250TOPS左右,不过成本也不是普通爱好者所能触及的了。 

02

老型号刷机亦可变“Super”
本地推理性能可期
 
Jetson Orin Nano Super的发布无疑是利好于整个边缘AI开发行业,但对于此前才花大价钱购买了Jetson Orin Nano,也就是没有“Super”后缀的低频版玩家来说,不仅Super版性能明显提升,价格还大幅下降(499美元到249美元,官方建议售价2070元),被“背刺”得明明白白。
但别着急,Jetson Orin Nano和Jetson Orin Nano Super只是软件升级后带来的性能变化,硬件是完全一致的,所以完全可以通过刷机的形式,让Jetson Orin Nano也变“Super”。
方法也比较简单,下载JetPack 6.1系统镜像进行更新就能开启MAXN模式,性能立马达到和Jetson Orin Nano Super相同的水准。而且也别担心质保等问题,因为英伟达官方也明确表示这个方法可行,所以千万别重复投资了。如果是新手入坑,购买之前切记问清版本,认准官方配置不要买错。
电商卖家鱼龙混杂,下单前可得看清
根据实际测试来看,Jetson Orin Nano Super套件可以很好地运行8B参数量的本地大预言模型和视觉语言模型,视觉Transformer模型甚至还可以通过TensorRT以FP16(16位浮点)精度运行。   

 

目前来看,在所有的AI开发板里,Jetson Orin Nano Super套件就是第一梯队的存在,可以执行实时图像分类、全高清目标检测等任务,通过量化、裁剪和分布式推理的方式还可以运行GPT-3级别的大模型和本地文生图等AI应用,同样也适合用于机器人开发。
事实上早就有能人通过3D打印技术制作了《星球大战》里的沙坑机器人模型,再利用Jetson Orin Nano作为算力核心来控制伺服电机,实现了机器人四肢和头部移动,并通过实时摄像头数据分析,识别到主人信息后开启面部LED灯效等多种控制,可玩性很强。而且这还是2023年的玩法,如果刷机升级到Super版,玩法可能会更丰富。

微信订阅

欢迎通过邮局渠道订阅2025年《电脑报》
邮发代号:77-19
单价:8元,年价:400元
编辑|张毅
审核|吴新
爆料联系:cpcfan1874(微信)
壹零社:用图文、视频记录科技互联网新鲜事、电商生活、云计算、ICT领域、消费电子,商业故事。《中国知网》每周全文收录;中国科技报刊100强;2021年微博百万粉丝俱乐部成员;2022年抖音优质科技内容创作者

壹零社
传播科学强化科普 ,音像制品和互联网出版
 最新文章