1: 端到端泊车方案探索(相关完整内容已经整理到自动驾驶之星知识星球)
最近在搞端到端泊车,我们基于上交秦通团队推出的ParkingE2E工作和手中现有的AVM、透明底盘、轨迹线等已有工具,搭建了自己的数据集并对该流程进行了验证。本贴讲下PrakingE2E的思路和我们在实验中发现github源码中的bug,和对于这篇paper的优化思路。
2:线下大模型交流会(10月26号上海)
随着大模型技术的发展,也许有一天大模型技术将会像曾经的CV领域的发展一样,成为每个做模型的同学都需要掌握的技术或者工具。在人工智能的浪潮中,大模型技术正以其强大的数据处理能力和深度学习能力,为具身智能和自动驾驶领域带来革命性的变革。
活动内容
1:我们邀请了PRCV 《行车场景下认知与决策 》 http://www.prcv.cn/?competition_130/ (该比赛是2024 CVPR 大模型比赛的延续)挑战赛冠军团队来给大家分享一下 VLM模型在自动驾驶场景中使用!
2: 我们邀请相关行业同学来分享《扩散模型(Diffusion Policy) 在自动驾驶/具身智能中的作用》!从近期的论文中我们可以看出扩散模型正在发挥着越来越重要的作用。
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion 扩散政策:通过行动扩散进行视觉运动政策学习
扩散模型已经在自动驾驶和具身智能领域发挥都着不错的表现了,让我们一起来看看效果吧!
3: 关于大模型在自动驾驶或具身智能中的讨论!(我们邀请了头部行业中的相关同学,一起来讨论一下大模型的赋能)
活动报名
因为租赁的活动场地,空间有限,先到先得哈,我们会筛选一下参会的人员!添加小助手微信(备注大模型活动)
3: TopNet 论文解读整理!(相关完整内容已经整理到自动驾驶之星知识星球)《Graph-based Topology Reasoning for Driving Scenes》 (pdf 已经上传到附件!)提出了TopoNet,这是一个端到端的框架,能够抽象出超越传统感知任务的交通知识。通过三个关键设计:嵌入模块、场景图神经网络(SGNN)和场景知识图,来捕获驾驶场景的拓扑结构。TopoNet在OpenLane-V2基准测试中表现优异,超过了所有先前的工作。
4: 《ChatGPT 背后的“功臣”——RLHF 技术详解 》(pdf 文档已经上传到链接)
OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮,它面对多种多样的问题对答如流,似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model,LLM) 生成领域的新训练范式:RLHF (Reinforcement Learning from Human Feedback) ,即以强化学习方式依据人类反馈优化语言模型。过去几年里各种 LLM 根据人类输入提示 (prompt) 生成多样化文本的能力令人印象深刻。然而,对生成结果的评估是主观和依赖上下文的,例如,我们希望模型生成一个有创意的故事、一段真实的信息性文本,或者是可执行的代码片段,这些结果难以用现有的基于规则的文本生成指标 (如 BLEU 和 ROUGE) 来衡量。除了评估指标,现有的模型通常以预测下一个单词的方式和简单的损失函数 (如交叉熵) 来建模,没有显式地引入人的偏好和主观意见。
写在后面的话:
新一轮的技术更新目前正在逐渐来袭,希望大家都能抓住这波浪潮,成为新一轮技术浪潮中的获利者。
自动驾驶之星和生成式AI与具身智能知识星球,新人优惠券来袭,结识一群志同道合的小伙伴一起成长。
下一个风口会不会是生成式AI 与具身智能的时代,我们特意创建了生成式AI与具身智能交流社区,关于大模型,机器人的相关业界动态,学术方向,技术解读等等都会在社区与大家交流,欢迎感兴趣的同学加入我们(备注具身智能)!
自动驾驶之星知识星球主打自动驾驶量产全技术栈学习,并包括: 学习板块,求职面试,有问必答,论文速递,行业动态五大板块!星球内部包括端到端大模型,VLM大模型,BEV 障碍物/车道线/Occ 等的学习资料!
生成式AI与具身智能知识星球,我们相信生成式AI 与具身智能会碰撞出出乎我们意料的内容,本知识形象并包括: 学习板块,求职面试,有问必答,论文速递,行业动态五大板块!星球内部包括生成式AI大模型,具身智能,业界资料整理等的学习资料!
👇点个“赞”和“在看”吧