导读:
Pinterest 是一个视觉发现平台,用户可以在上面找到食谱、家居和风格灵感等创意。该平台拥有超过5亿月活跃用户,为广告商提供了重要的广告机会。广告商可以利用数据来分析用户行为,以取得更优的广告表现。
提供 Partner Insights 的挑战是多维的。Pinterest 服务大量广告商,每个广告商都有独特需求和指标,这些指标跨越多个需要实时聚合的维度。平台的高度可定制性允许广告商选择并定制多个指标,增加了复杂性。
随着时间推进,原使用 Druid 的架构有以下不足之处:
成本高:随着规模的增长,使用 Druid 的成本不断增加,难以保持低成本的高效解决方案。 SQL 支持有限:Druid 对标准 SQL 类型和模式的支持有限,无法完全满足用户的需求。 复杂的摄取管道:Druid 依赖外部的 MapReduce 作业等工具,数据摄取过程复杂。 性能瓶颈:处理复杂多维查询时,Druid 性能不足。
Pinterest 通过将数据分析平台从 Druid 迁移到 StarRocks,解决了高成本、SQL 支持有限、数据摄取过程复杂和性能瓶颈等痛点。StarRocks 提供标准 SQL 接口、简化的数据摄取流程和高效的查询性能,大幅提升了系统的成本效益和整体性能。
迁移到 StarRocks 后,p90 延迟减少了 50%,仅需原先设置的 32% 实例。这导致了成本性能效率提高了 6 倍。数据摄取过程也得到了简化,实现了仅 10 秒的数据新鲜度。
StarRocks 已经带来了显著的性能提升,Pinterest 仍在探索查询缓存和物化视图等功能,以进一步优化系统,应对高并发工作负载。
关于 StarRocks
Linux 基金会项目 StarRocks 是新一代极速全场景 MPP 数据库,遵循 Apache 2.0 开源协议。
StarRocks 全球开源社区也正飞速成长。目前,StarRocks 的 GitHub star 数已达 8400,吸引了超过 350 位贡献者和数十家国内外行业头部企业参与共建,用户社区也有过万人的规模。凭借其卓越的表现,StarRocks 荣获了全球著名科技媒体 InfoWorld 颁发的 2023 BOSSIE Award 最佳开源软件奖项。