由 DeepFlow 社区 和 OpenCSG 主办的《大模型全生命周期管理与AI应用的全栈可观测性》Meetup 开启报名,聚集了可观测性、大模型生态建设、AI应用开发等领域的技术专家以及开源社区,一起探讨行业发展趋势、应用场景、落地路径。
通过此次线下沙龙,我们希望能够促进技术交流,为云原生可观测性技术的发展提供更加广阔的平台;推动云原生可观测性技术的创新和应用,为企业的数字化转型提供更加先进的技术支持。
活动地点: 上海市徐汇区龙台路180号F2幢模速空间1F路演厅
扫描海报的二维码报名
张国锋 上海开源信息技术协会创始人
海对外经贸大学开源创新与数字治理研究院院长,致力于开源理论构建及经管法高校开源创新教育等工作。
演讲内容
1.繁荣发展开源事业必须有强大的物质力量,理解并把握开源的商业逻辑是做好开源创新的前提。
2.开源创新是一场伟大的社会创新运动,有其自身的运动规律。加强其规律性的认识,有助于我们减少社会创新成本,减少新事物在分娩中的痛苦。
3.加快开源商业人才的培养工作,为开源事业做好人才准备工作。
陈冉 OpenCSG 创始人&CEO
开源平台极狐信息创始人、前 CEO;DC/OS 中国社区创始人、开源布道师以及 Docker;曾任 IBM、HP、 Mesosphere (D2iQ) 等国际领先科技巨头和独角兽公司的高层职务。
演讲内容
深入 OpenCSG 这一前沿的智能数据与 AI 管理平台,为大模型资产治理难题提供了创新解决方案。CSGHub 不仅让用户能够高效管理 LLM 及其全生命周期中的核心资产,如数据集、模型文件与代码,还引领大家紧跟开源大模型的快速迭代步伐,安全地构建与拓展私有数据集,为数字人应用的发展铺设了坚实且价值丰厚的资产基石。
CSGHub 全面资产管理 高效 AI 应用开发平台 CSGHub 产品优势与竞争力 CSGHub 客户案例
信也科技 基础组件团队负责人,十多年互联网研发工作经验,多年微服务及中间件体系建设及落地经验;目前负责中间件相关产品的规划、架构、演进和落地,主导并建设了谛听可观测性平台及大规模推广落地,目前专注于提升分布式系统的可观测性和稳定性及组件方面的研究。
演讲内容
一、【背景介绍】 1. 可观测性平台演进。2. 面临的痛点和挑战。
二、【可观测平台建设】 1. 可观测平台架构。2. 统一告警(指标/链路/日志)。
三、【可观测性场景应用】 1. CPU 内存类场景根因定位。2. 慢请求场景根因定位。3. 网络异常场景定界。4. 多泳道环境场景应用。5. 双活场景应用。
向阳 云杉网络 总裁
清华大学博士,云杉网络总裁,DeepFlow 开源社区负责人。曾在国际顶级学术会议 ACM SIGCOMM、ACM IMC 上发表可观测性方向的学术论文。
演讲内容
使用 eBPF 和 Wasm 实现 AI 应用的可观测性
现在,基于各种新潮的 LLM 训练、推理、服务框架,开发者可以快速实现酷炫的 AI 应用,但也经常会遇到 GPU/HBM 资源消耗大、LLM Token 响应慢、LLM Token 用量大等问题。使用 eBPF 和 WebAssembly 可以零侵扰实现 AI 应用的全栈可观测性,帮助 LLM 服务 API 管理员、LLM 服务提供方、LLM 应用开发者提升应用效能。本次分享将会介绍 DeepFlow 在 AI 应用可观测性方面的能力和实践案例。
AI 基础设施和应用的可观测性痛点
零侵扰观测 LLM 训练任务
零侵扰观测 LLM 推理服务
零侵扰观测 LLM 应用的 Token 用量
DeepFlow 的实践案例
DeepFlow 开源项目旨在为复杂的云原生应用提供“零插码”的深度可观测性。DeepFlow 基于eBPF和OpenTelemetry实现了“零插码”的指标、追踪、日志采集,并通过智能标签技术实现了数据自动标记和高效存取。使用DeepFlow,可以让云原生应用自动具有深度可观测性,从而消除开发者不断插码的沉重负担,并为 DevOps/SRE 团队提供从代码到基础设施的监控及诊断能力。
北京开放传神科技有限公司(OpenCSG)成立于2023年,是一家致力于大模型生态社区建设,汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。OpenCSG的‘传神’开放社区基于自主研发的算力算法平台和应用开发工具平台,为用户提供一站式的大模型应用构建服务,帮助用户高效且低成本地创建个性化的大模型应用。公司成功实现了在金融、政务、制造业等领域的项目落地,并积极与生态合作伙伴共同探索在医疗、工业、媒体等更多领域的落地应用。
欢迎加入传神社区
•贡献代码,与我们一同共建更好的OpenCSG
•Github主页
欢迎🌟:https:// github.com/OpenCSGs
•Huggingface主页
欢迎下载:https://huggingface.co/opencsg
•加入我们的用户交流群,分享经验
扫描上方二维码添加传神小助手