作为与通用大模型、行业大模型、企业大模型并行发展的一大分支，个人大模型也进入了快速发展期。光羽芯辰创始人兼董事长周强称，个人大模型解决的是“大模型不懂你”的问题，随着手机、PC、可穿戴、XR等端侧设备厂商All in AI，个人大模型之路将越走越宽。他提到，个人大模型也称为端侧大模型，期待解决端侧智能体在性能、功耗和成本方面的痛点，让真正的AI手机走进生活。端侧AI具备及时性、可靠性、成本低、隐私保护和定制化五大优势。目前，构建端侧大模型的核心是解决存储带宽和容量双重问题。6、中昊芯英朱国梁：国产TPU芯片“No CUDA”软件栈的构建实践
中昊芯英芯片软件栈负责人朱国梁介绍了他们在为国产TPU芯片构建“No CUDA”软件栈的实践经验。中昊芯英刹那芯片采用VLIW指令集架构，面对庞大的CUDA生态，他们逐一解决了库、并行计算与编程方面的问题，全自研用户态和内核态驱动，实现了芯片的高效管理。为做好生态兼容，中昊芯英底层软件栈兼容PyTorch以及所有主流训推框架，目前，中昊芯英可提供定制的端到端的云智算解决方案，并支持国产操作系统。 02.从企业智能体、向量数据库到RAG AI Infra基础软件涌现诸多新挑战
Alluxio首席架构师傅正佳谈到了提升大规模模型训练效率的两大挑战：一是数据规模不断增长、类型更多元化，因此处理数据需要提升算力有效利用率；二是当数据喂到训练平台上，数据IO访问瓶颈会导致算力处于低利用率状态。这一背景下，Alluxio提供了统一的数据视图、丰富协议转化、高性能数据访问，以打造整体数据服务。其方案通过零改造、无侵入策略，可以使算法工程师仍按原有方式工作，无需改变已有脚本，并且客户已经有的大量存量数据不需要进行私有化协议改造。 03.AI 2.0时代，大模型行至深水区 AI Infra迎来变革
