国际测试委员会大模型标准工作组虚位以待

文摘   社会   2024-11-15 12:53   新加坡  


国际测试委员会是评价科学与工程(Evaluatology)理论的首倡者和实践者,是在国际上有着重要影响力的评价组织之一。为了促进大模型技术和产业的发展,国际测试委员会决定成立大模型标准工作组,作为未来通用人工智能技术联盟的基础。现决定在12月4日-6日在广州举办的开源与人工智能大会(Open & AI 2024)评价科学与工程大会(Bench 24)上举办大模型标准工作组成立仪式和研讨会。欢迎注册会议,并加入大模型标准工作组。


一、大模型标准工作组组织架构(临时)


总召集人:
国际测试委员会创始主席 詹剑锋 教授

分领域召集人:
天文与空间领域
中国科学院国家空间科学中心 副主任 邹自明研究员
之江实验室 任祖杰研究员

材料科学领域
上海大学 刘悦教授

其他科学大模型领域
中国科学院计算机网络网络信息中心 副主任 周园春研究员

主权大模型领域
中国科学院计算技术研究所 张云泉研究员

广东省智能科学与技术研究院 钱诚研究员


系统与芯片领域


大规模代码生成领域
中国科学院软件研究所 副所长 武延军研究员

AI推理系统领域

Jason Jia, Amazon


AI系统领域

清华大学 翟季冬教授

阿里巴巴 陆钢博士


GPGPU领域

上海交通大学 梁晓峣教授


基础模型领域
中国科学院计算技术研究所 高婉玲副研究员
58同城 AI技术总监 詹坤林

医学与心理学领域

心理学领域
中国科学院心理研究所 朱廷劭研究员

重症子领域
首都医科大学    张知非副教授

眼科子领域
华南理工大学    许言午教授 

癌症免疫疗法领域
广西师范大学  黄运有 博士

工业领域

能源与功耗领域
中国科学院计算技术研究所 罗纯杰副研究员  

智慧城市
中科智城(广州)信息科技有限公司 创始人  袁峰研究员    
                 
首批参与单位:
北京大学
清华大学
中山大学
华南理工大学
暨南大学
中国科学院深圳先进技术研究院
之江实验室
上海大学
鹏城实验室
中科院软件所
Airt.ai
Amazon
华为
复旦大学
上海交通大学
中科院计算所
复旦大学
中国计量院
中国软件评测中心
阿里巴巴
腾讯
国防科技大学
东北大学
百度
贵州大学
武汉大学
湖北大学
中国电子技术标准化研究院
小米
曙光
浪潮
58同城
百川智能

·工作组具体架构在筹备会上确定。
·有意增加新的子领域请联系詹剑锋教授  jianfengzhan.benchcouncil@gmail.com
·有意加入工作组,请联系戴嘉慧。


有任何疑问请咨询工作人员

联络人:戴嘉慧




微信号:djh-BenchCouncil




二、日程安排和地点


1、12月4号,在大会主论坛上举办工作组成立仪式
2、12月5号,工作组筹备会议和论坛研讨
3、12月6号,国际测试委员会颁发工作组成员

地点为广州大学城中心酒店。
详细地址:广州市番禺区华工北路68号华南理工大学。


三、预期成果与影响


1、基于评价科学与工程理论体系建立智能评价方法学,出版智能评价学专著。
2、 建立有重要国际影响力的大模型评价标准体系。
3、发布大模型评价基准,并定期维护更新。
4、发表通用大模型贡献榜、性能榜、安全榜等各个维度的榜单。
5、发表子领域大模型贡献榜、性能榜、安全榜等各个维度的榜单。
6、通过标准化的评价服务,支持全球大模型技术的创新和协作,提升大模型技术的应用水平,增强全球大模型领域的创新能力。
7、 促进学术机构和企业的交流和资源整合。
8、基于研究的成果,提供行业咨询服务


四、国际测试委员会投入的资源


1、官方项目主页。
2、组织会议,提供会议场所。
3、以会议Proceeding的形式或在国际测试委员会旗舰国际期刊TBench(当前实时Citescore 13.6)上及时出版成果。
4、出版智能评价学等一系列专著。
5、以整体的方式展现工作组的成果,在国内外会议上公开展览。
6、邀请国际著名专家加入工作组,促进成果的产出,提升影响力。
7、定期出版国际和国内智能发展白皮书。
8、有组织的采访和报道。

五、行为准则


1、严格的知识产权保护制度,确保所有的贡献者获得应有的Credit。
2、开源准则。工作组产生的成果均在国内外平台开源。
3、包容与开放的准则。向所有机构开放,参与不设门槛。
4、务实,以代码和文档说话。


六、赞助


欢迎企业赞助,联系人戴嘉慧


有任何疑问请咨询工作人员

联络人:戴嘉慧




微信号:djh-BenchCouncil

国际测试委员会(BenchCouncil)是一个非营利性国际组织,是评价科学与工程理论的首倡者和实践者。



大会注册链接


请扫描下方二维码或链接注册参会,期待在广州与您相见!


国内注册链接:

https://app.ic3i.com/fsevent/openai2024/register/


团体注册 :
团队5人至10人,享受9.5折优惠 
团队11人至15人:享9折优惠 
团队16人及以上,享受8.5折优惠 


请向以下账户转账,并发送团体参会人员信息(姓名,邮箱,单位,手机号码及发票信息)到benchcouncil@bafst.com邮箱。在确认收到注册费用后,会议注册团队将核对团体参会人员信息并协助完成团体注册。

收款账户:北京本尺康舍信息科技研究院有限公司
开户行:中国建设银行北京右安门支行
账号:11001071600053009881



国际注册链接:

https://web-eur.cvent.com/event/bfb79a92-30c9-4af4-855e-51c99599304c/


会议通知


评价科学与工程大会邀请函.pdf


开源与人工智能大会邀请函.pdf




大会官网


会议官网:https://www.benchcouncil.org/open&ai2024/




大会收费标准与权益


一、注册会议后您可以参加下列会议:


  • 2024年国际开源与人工智能大会(Open & AI 2024),包括智能计算机、算法与应用大会(IC 2024)

  • 2024年国际评价科学与工程大会,包括Bench 24大会和Evaluatology 24国际研讨会

二、参与成果评价,不收取任何额外费用!



下方查看历届会议贡献排行榜


预测诺奖

人工智能百年人才榜排名领先学者获得24年诺贝尔物理学奖

排行榜

国际测试委员会发布全球首个芯片贡献榜,引起热烈反响

排行榜

国际测试委员会发布世界首个开源贡献榜,各大新闻媒体争相报道

排行榜

国际测试委员会发布全球首个人工智能贡献榜,引起广泛关注!

2023三亚会议

智能计算与芯片联邦大会(FICC 2023)

2020青岛会议

10+院士参会,智能计算与区块链联邦大会

2019深圳会议

世界智能计算机大会在深圳召开

2019北京会议

国际芯片大会在北京怀柔召开




看完文章:

1、点在看,可以帮助更多的人看到这篇文章

2、写留言,有问题我们将会尽快解决并回复

3、关注并星标,您将在第一时间收到最新消息推送

(由于订阅号规则改变,您的订阅号内容不再按照时间顺序显示,星标后会及时收到我们的推送消息。)




BenchCouncil
国际测试委员会(BenchCouncil)是评价科学与工程理论的首倡者
 最新文章