AML666!AML实验室在KDD CUP 2024 大语言模型多任务挑战赛中获得总榜亚军,全部5个赛道进入前三名的优异成绩

文摘   科技   2024-07-22 14:30   中国香港  

记得给 “应用机器学习” 添加星标,收取最新干货


2024年7月19日,在亚马逊主办的KDD CUP 2024组织者公布了大语言模型多任务挑战赛的获胜者。经过过去 4 个月的努力,在508个队伍中,来自AML实验室的“AML666”小队在5个赛道中获得了总榜亚军,两个赛道第二名和三个赛道第三名的优异成绩!

以下为五个赛道的介绍及获奖队伍,具体细节请参阅赛事官方公告或点击阅读原文查看:
https://discourse.aicrowd.com/t/announcing-the-winners-of-amazon-kdd-cup-2024/10758
·  Track 1: Understanding Shopping Concepts 购物概念理解

1.   Team_NVIDIA

2.   AML666 (AML_Lab@CityU)

3.   shimmering_as_the_stars

4.   CM_RLLM

5.   LeaderboardCar


·  Track 2: Shopping Knowledge Reasoning 购物知识推理

1.   Team_NVIDIA

2.   ZJU_AI4H

3.   AML666 (AML_Lab@CityU)

4.   shimmering_as_the_stars

5.   BRG


·  Track 3: User Behavior Alignment 用户行为对齐

1.   Team_NVIDIA

2.   ihun (BMI@DLUT.)

3.   AML666 (AML_Lab@CityU)

4.   CM_RLLM

5.   shimmering_as_the_stars


·  Track 4: Multi-lingual Abilities 多语言能力

1.   Team_NVIDIA

2.   shimmering_as_the_stars

3.   AML666 (AML_Lab@CityU)

4.   Innova

5.   PinGuNi


·  Track 5: All Around 全能

1.   Team_NVIDIA

2.   AML666 (AML_Lab@CityU)

3.   CM_RLLM

4.   shimmering_as_the_stars

5.   ZJU_AI4H



关于KDD Cup:

KDD Cup是知识发现与数据挖掘国际会议(KDD)的竞赛项目,旨在提供一个平台来推动数据挖掘、机器学习和人工智能领域的研究和发展。自1997年开始,KDD Cup已成为这些领域最具影响力和最受欢迎的比赛之一。每一届KDD Cup都吸引了世界各地的数据科学家、研究人员和工程师,他们在严峻的比赛条件下,通过数据挖掘技术和算法来解决实际问题。

KDD Cup的主题和任务涵盖了各种领域,包括社交网络、金融、医疗、电子商务等,参赛者需要通过数据挖掘和机器学习技术,从大规模的数据中发现规律和模式,得出有效的解决方案。KDD Cup不仅提供了一个展示最新技术和算法的平台,也为学术界和工业界之间的合作和交流提供了机会,促进了数据科学的发展。

赛事链接:https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms

赛题介绍:
本届赛题旨在设计强大的LLMs,以改善最先进的技术如何更好地帮助我们导航在线购物,使之成为一个更直观和令人满意的体验,就像现实生活中知识渊博的购物助手一样。
在线购物是一项复杂的活动,涉及从浏览到购买的各种任务,所有这些任务都需要洞察客户行为和意图。这需要能够利用跨任务共享知识的多任务学习模型。然而,许多当前的模型是特定任务的,增加了开发成本并限制了效果。大型语言模型(LLMs)有可能改变这一点,通过对单一模型进行轻微的提示调整来处理多个任务。此外,LLMs还可以通过提供交互式和及时的推荐来改善客户体验。然而,作为一个高度特定的领域,在线购物具有广泛的领域特定概念(例如品牌、产品线)和知识(例如哪个品牌生产哪些产品),这使得将现有的强大LLMs从一般领域适应到在线购物变得具有挑战性。
出于对LLMs的潜力和挑战的激励,我们带来了ShopBench,一个针对在线购物的大型挑战,包含57个任务和约20000个问题,这些问题来源于现实世界的亚马逊购物数据。这个挑战中的所有问题都被重新格式化为统一的文本到文本生成格式,以适应探索基于LLM的解决方案。ShopBench专注于四个主要的购物技能(将作为赛道1-4):
  • 购物概念理解

  • 购物知识推理

  • 用户行为对齐

  • 多语言能力

此外,我们设立了赛道5:全能,以鼓励更多样化和全方位的解决方案。赛道5要求参与者用一个解决方案解决赛道1-4中的所有问题,这预计将比赛道1-4的特定解决方案更有原则和统一。我们将相应地为赛道5分配更大的奖励。
我们希望这个挑战能为参与者提供在开发最先进的基于LLM技术解决现实世界问题的宝贵实践经验。我们也相信,这个挑战将使在线用户导向服务行业受益于强大且随时可用的基于LLM的解决方案,同时也为整个机器学习社区提供关于LLM培训和开发的有用见解和指导。


同时欢迎关注我们的知乎账号:应用机器学习,获取更多内容
https://www.zhihu.com/people/aml_cityu

应用机器学习
介绍机器学习最近技术进展和资讯
 最新文章