导读 在数字化转型加速的今天，企业对数据实时处理和分析的需求日益增长，传统批处理方式已难以应对。腾讯云流计算 Oceanus 作为一款企业级实时大数据分析平台应运而生，它依托 Apache Flink 引擎，为企业提供了一站式开发、无缝连接、亚秒延时、低廉成本、安全稳定的企业级实时大数据分析平台。Oceanus 能够帮助企业实时捕捉、处理和分析海量数据，从而实现业务决策的快速响应，提升运营效率，发掘新的增长机会。本次分享将聚焦于 Oceanus 的两个全新亮点：新型流式湖仓方案和基于弹性包年包月集群的降本方案，相信这两个亮点将为企业带来新的价值。
1. 湖仓场景现状和挑战
2. 流式湖仓方案架构介绍
3. 流式湖仓方案优势
4. 流式湖仓应用场景
5. 实时业务成本挑战
6. 新型弹性降本方案
7. 总结
分享嘉宾｜李哲 腾讯云 资深产品经理
编辑整理｜孙蒙新
内容校对｜李瑶
出品社区｜DataFun
湖仓场景现状和挑战
灵活性低：Kafka 作为中间数据存储系统，主要起到数据管道的作用，缺乏数据探索和数据分析功能，且无法长期保存历史数据。这就限制了业务使用的灵活性，也增加了问题排查的难度。
成本较高：实时链路是独立的链路，维护 Kafka 和 Flink State 的存储和计算资源需求较大，常驻链路的成本也高昂。
对更新场景支持不足：如果 Kafka 写入的数据不是完整的变更日志（changelog），则无法直接进入后续的 Flink 作业进行流式处理。虽然 Flink 提供了 Upsert Kafka 来应对这种情况，但 Upsert Kafka 依赖于本地状态存储，成本较高。
数据重复存储和计算成本高：由于 Lambda 架构的离线和实时链路是独立的，数据存储和计算引擎相互隔离，相同数据需重复存储，实时和离线计算逻辑也需单独开发，增加了维护、管理和业务变更的复杂性。
流式湖仓方案架构介绍
支持离线数据仓库的 OLAP 分析需求，能够从数据仓库中快速提取数据。
兼容实时流处理，提供与 Flink 兼容的完整变更日志（changelog）。
流式湖仓腾讯云流式湖仓的优势
打破数据孤岛：腾讯云流式湖仓打破了传统 Lambda 架构中的数据存储壁垒，避免了数据重复存储和计算逻辑的重复开发。
简化运维：通过统一的数据存储和计算引擎，简化了系统的运维管理，降低了运维成本。
完整变更日志：生成完整的变更日志（changelog），使得 Flink 等流处理引擎能够对数据进行增量处理，保证了数据的实时性。
高效更新：基于 LSM Tree 存储引擎，支持高效的主键更新和部分列更新，以满足实时业务的快速响应需求。
兼容 Iceberg 生态：腾讯云流式湖仓与 Iceberg 生态完全兼容，用户可以无缝迁移现有的 Iceberg 查询作业。
支持多种查询引擎：支持 Spark SQL、Trino、Presto等多种查询引擎，可满足用户的多样化查询需求。
大表优化：对大表的数据提交流程进行了优化，提高了数据写入速度。
压缩编码与分区优化：采用高效的压缩编码格式和分区策略，减少存储空间需求，提升了查询性能。
避免重复存储：传统 Lambda 架构中，离线和实时数据需要分别存储，导致数据冗余。腾讯云流式湖仓通过统一的存储层，避免了这种冗余，显著降低了存储成本。
流式湖仓应用场景
实时业务成本挑战
用户通常需要大量时间给作业调优，实现精细化资源管理。
弹性作业常导致资源利用效率低下，容易造成资源浪费。
新型弹性降本方案
总结
分享嘉宾
INTRODUCTION
李哲
腾讯云
资深产品经理
互动有礼
按以下方式参与互动，即有机会获赠礼品！
《数据智能知识地图》是由17位高级别专家历时两个月精心打造的专业工具，覆盖数据采集与治理、数据架构、数据能力、数据应用四大领域，包含15个数据模块。是数据智能领域的宝贵资源。
活动方式：
在评论区留言参与与文章相关的话题互动。留言点赞最高的1位用户赠送一套《数据智能知识地图》。
说明：
1. 留言需要与本文相关，点赞数需真实有效如发现刷赞行为，将取消参与资格。
2. 中奖者请在收到通知的24小时内将您的“姓名+电话+快递地址”留言至原评论下方处即可，隐私信息不会被放出，未在规定时间内回复视作自动放弃兑奖资格。
往期推荐
京东健康基于大模型的生成式推荐在电商标品推荐的应用
替代 NL2SQL，Agent+业务语义的创新产品设计
超拟人大模型技术与情绪价值应用深度解析
数据湖存储加速方案的发展和对比分析
GMI Cloud：基于高稳定性 GPU 集群的 AI 出海应用高效业务开发探索
货拉拉利用大模型打造多场景个人、办公助理实践
DataOps for LLM 的数据工程技术架构实践
腾讯云助力出海企业高效构建全球大数据基础设施
腾讯分析型 BI+AI 产品 OlaChat 创新探索
NebulaGraph 的 GraphRAG 进展、实践
点个在看你最好看
SPRING HAS ARRIVED
