随着大模型技术的飞速发展，其应用范围已经广泛渗透到企业的研发应用、生产制造、经营管理的各个层面。由于大模型本身参数量巨大、落地场景和形式复杂多样，对模型的部署、推理、服务环节均提出了更高的要求。如何进行高效模型压缩、实现分布式部署推理、针对大模型自回归特点进行优化，确保在降低时延的同时保障模型响应速度；如何优化请求调度策略、实现资源弹性扩缩容，提升吞吐能力和稳定性，以应对动态变化的流量以及高并发场景；如何有效控制资源和适配成本，实现经济效益最大化等，都是大模型落地过程中尤为突出的新挑战。
目前，业界缺乏统一的标准来规范大模型部署和推理的技术要求。为帮助企业提升大模型推理效果，降低大模型推理的成本，推动大模型在各行业的广泛应用，人工智能产业发展联盟AI Infra工作组启动了《大模型推理平台技术要求》的标准研制工作，本标准围绕大模型平台推理过程的功能、性能要求，结合推理效率、稳定性和易用性等产业需求规范标准。
目前已依次完成各模块首轮研讨会，共计50余家企业的83名专家代表参与，并已收到首轮30余家企业供稿、16家企业意见反馈。
为进一步完善标准内容，确保大模型部署推理标准的广泛适用性和可操作性，现计划召开“《大模型推理平台技术要求》第四次标准研讨会”，主要包括：文稿能力项部分征求意见+文稿测试用例部分征集，诚邀各相关单位参会。
会议时间：2024年11月8日（周五） 10:00-12:00
会议链接：
https://meeting.tencent.com/dm/zt7lcWHaYbEo
会议号：747-183-898
(扫码报名)
联系人
宇老师 15650761587
yuwenmengke@caict.ac.cn
董老师 15910462421
donghao@caict.ac.cn
- END -
2017年10月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室（以下简称“部重点实验室”）。
中国信通院为进一步推动我国人工智能的工程化进程，依托部重点实验室成立了AI工程化推进委员会。委员会聚焦人工智能开发工具和平台，AI研发运营和管理，大模型应用，知识计算应用和AI数据集治理等技术方向，以产业活动、研究报告、标准和评估、最佳实践等手段，推动人工智能工程化相关的工具、系统、流程和治理体系的完善。
企业单位申请链接：
