编者按:
近日, 由领创集团的金银、吴仁贵和戴德琨组成的NSFMW团队参与了由Founder Park举办的AGI应用黑客松,他们从全国一百多支队伍中脱颖而出,成功入围前20,并最终荣获了最佳多模态奖和沉甸甸的4090显卡。这不仅展示了他们卓越的技术实力,也展现了团队的协作精神和创新能力。让我们跟随德琨的视角,一起来回顾他们这段充满挑战与荣耀的Hackathon之旅。
背景
黑客马拉松确实是一个可以在短时间内与志同道合的人共同学习、合作并实现自我挑战的机会。上周,我与金银和吴仁贵参加了飞书和FounderPark举办的Hackathon。
我们成功从全国一百多支队伍中脱颖而出,进入了决赛,并在决赛的两天和来自各个行业、地区的20支优秀队伍一起完成了路演。最终,我们得到了沉甸甸的4090和阶跃星辰提供的最佳多模态奖。现在,我想与大家分享整个过程。
1.1 缘起
5月的最后一天,我们的队长在lark上发了一条消息给我:“感兴趣吗?要不要去弄个4090?”一想能跟着去年公司Hackathon的冠军队长躺赢,我毫不犹豫地答应了🤣。
1.2 选题
经过头脑风暴,我们最终确定了一个选题方向:零代码生成RPA(Robotic Process Automation)。
RPA 是通过使用软件机器人或“机器人”来自动化日常的、重复性的任务,这些任务通常由人类来完成。这些机器人能够模拟和集成人类与数字系统的互动,从而提高工作效率、减少错误,并节省时间和成本。我们的选题希望可以通过 AI 降低RPA的制作成本。
1.3 分工与队名
我们团队的分工如下:金银主要负责选题、产品设计以及最终PPT路演,我负责程序的后端、Agent、Bot工作流搭建,阿贵负责客户端开发和用户交互体验设计。我们的队名叫 NSFMW ,让 GPT 来解释:
产品定位
2.1 用户需求与现状
在当前的数据驱动时代,用户需求不断增加,但他们面临的一个主要挑战是如何无代码轻松采集数据。我们团队的自动化系统旨在解决这一问题,通过提供高效、易用的解决方案,帮助用户在各种场景下快速获取所需数据。
2.1.1 用户的需求:
全网新闻事件舆情分析:需要对互联网上发生的新闻事件进行全面的舆情分析,以便及时了解公众意见和趋势
抖音的热门视频分析:对抖音平台上的热门视频进行数据采集和分析,以洞察市场热点和用户兴趣。
Reddit中关于某一产品的用户提及及线索:获取和分析用户在Reddit上关于特定产品的讨论,提取有价值的市场反馈和潜在客户线索。
电商产品的用户评级与评论:收集电商平台上用户对产品的评价和评论,帮助商家改进产品和服务。
产品在应用宝上的用户评价:分析用户在应用宝等应用市场上的评价,了解产品在市场中的表现。
2.1.2 用户当前的解决方案:
用户目前主要依赖以下几种方式来解决数据采集的问题:
数据爬虫团队:雇佣专业的爬虫团队进行定制化的数据抓取,虽然可以满足特定需求,但成本高昂。 Python代码化数据采集:利用Python编写脚本进行数据采集,技术门槛较高,非技术用户难以实现。 影刀自动化、后羿采集器、browse.ai 等工具:这些自动化工具提供了一定程度的低代码数据采集功能,但在复杂场景下仍存在局限性,无法完全满足用户需求。
我们本次参赛的路演选取某企业微博舆情分析这一场景进行最终落地展示。
技术实现
3.1 客户端(Client)
客户端部分通过 Electron 框架来实现,使用常用的自动化测试框架 Playwright / Selenium 作为执行引擎,用户可以在这里创建、管理和执行任务。其主要功能包括:
创建任务:用户可以定义新的自动化流程任务。
任务配置:对任务的详细配置进行设置,包括目标站点、执行速度以及结束条件等。
获取登录态:系统自动获取并管理用户的登录态信息,以便处理需要登录的网站。
人工演示:完成登录态初始化后,用户需要给AI演示一遍操作,以生成录制的脚本和操作截图。
初始化脚本:将录制好的脚本、生成的截图以及预置的目标网站元素信息和提示词发给后端,由后端使用大模型和视觉模型处理,生成自动化脚本。
优化脚本:在初始脚本基础上进行迭代优化,通过人工指令让AI改进脚本。
一键改错:运行发生错误时,将错误信息和脚本发给AI,让AI进行自我调试。
发布脚本:将脚本标记为可用,未来可设计为多租户形态,被其他用户使用。
运行任务:执行自动化任务,收集原始结果数据。
服务器端主要职责是接收并处理来自客户端的请求,通过多个AI Agent完成任务。使用了月之暗面128k处理长文本和阶跃星辰的step1v识别图片。部分Agent使用Coze定义的bot和工作流。
脚本构建Agent:构建基础任务脚本,包含任务配置信息(TASK_CONFIG)和初始化脚本(INIT_SCRIPT)。
脚本优化Agent:在基础脚本上,根据用户提示词迭代任务脚本,包含优化脚本(BETA_SCRIPT)和页面对象(PAGE_OBJECTS)。
脚本调试Agent:在脚本执行失败时修复错误,包含优化脚本(BETA_SCRIPT)和错误信息(ERROR_INFO)。
数据清洗Agent:清洗采集数据,纠正错误数据格式,识别内容中的正负面信息、情绪等,包含原始数据(RAW_DATA)。
飞书机器人和多维表格
最终将数据推送到飞书表格,利用飞书的多维表格呈现处理后的数据,同时利用多维表格强大的AI生成仪表盘的能力,自动渲染舆情数据报表。
微舆情信息表
感想
我认为参加黑客马拉松是一个学习新技能并与其他开发者建立联系的绝佳机会,同时也能挑战自我。尤其是周末的两天里,我们一路狂奔,穿越了无数的Bug泥潭,避开了无数的报错深坑,最终成功完成了路演。尽管过程中的咖啡喝到怀疑人生,但看到最终的成果,回想整个过程,还是觉得非常值得的。听说公司马上就要开启下一届Hackathon了,伙伴们,赶紧报名吧。一些现场照片: