《技术HardCore》栏目由数数科技的技术老炮（儿）们联合「开发」。
在这里，实践与真知齐飞，技术与业务共舞～你可以通过用代码思维敲出来的硬核文字，轻松 get：
· 千亿级多源异构数据怎样做到快速即席查询？
· 怎样用一个平台服务实时、即席、离线数据应用？
……等诸多专业难题。
让我们一起来畅想你的游戏数据平台明（儿）个要做点（儿）啥~
温馨提示：
本篇阅读时长：7 mins
适宜阅读人群：游戏公司 CTO、数据中台负责人、数据研发工程师
硬核指数：✭✭✭✩✩
近期，某国内头部游戏公司据传正在大幅收缩用云量，其中对某家云大厂的预算近乎砍半，计划由原先的每年 10 亿左右，逐步降至不足 6 亿。
报道称，该厂此次大幅削减云预算是出于降本需求的考量。而数据平台作为服务器算力和存储资源消耗的「大户」，则成为了「下云」场景中优先考虑的业务模块。
虽然，自建机房长期来看能够节省硬件成本，但是数据平台想要顺利“下云”，真正达成“省钱”的目标，仍然面临诸多挑战。
“下云”之后有哪些坑？
从内部自建的人力成本角度考量，转向自建机房意味着游戏厂商需要建立一个强大的内部技术团队来负责机房的规划、建设和日常运维工作。招募和培养这些专业人才需要时间和金钱的投入，尤其是在当前信息技术行业竞争激烈的背景下，优秀的技术人才往往供不应求，薪资水平也相对较高。
此外，新加入的团队成员通常需要经过一段时间的磨合才能达到最佳的工作状态，而技术人才的流动性较强，如何保持团队的稳定性，防止核心人员流失，也是管理层需要重点关注的问题。
对于一家游戏公司而言，数据的收集、处理与分析能力至关重要，它直接影响到产品优化、用户体验提升以及市场策略的制定，选择在云下自建数据平台，意味着需要重新建设云上数据生态上已有的各项成熟能力。因此，自建数据开发工具成为了游戏厂商在“下云”后必须面对的一项任务。
首先，从零开始构建一个高效的数据处理平台和分析工具是一项复杂且耗时的工作，涉及到了解业务需求、设计架构、编写代码、测试验证等多个环节。在这个过程中，任何一个小细节的疏忽都可能导致整个项目的延期，从而影响公司的业务发展。
其次，数据平台开发工具的技术门槛较高，特别是在大数据处理、机器学习算法等方面，需要具备深厚的专业知识和丰富的实践经验。这对于企业的技术研发团队来说又是一个巨大的挑战。
即使成功搭建了数据开发平台，另外自建数据平台后续的维护和支持同样不容小觑。随着业务的不断扩张，原有的平台工具可能无法满足新的需求，这就要求游戏厂商不断地对其进行升级和完善，这不仅需要投入额外的研发资源，还可能因为频繁的变更而导致系统的不稳定。
下云固然会节省硬件资源，但是如果以上问题不能妥善解决，预期内的「降本增效」可能就会打水漂，如果影响了游戏核心业务的正常运转，将会更得不偿失。
数数的数据平台建设经验
数数在为各大游戏厂商提供数据服务时，也会遇到数据平台降本增效的诉求。
对于数数来说，提供的产品能力如何更好地赋能游戏数据平台，在尽可能降低成本的同时创造出更大的业务价值，一样存在很大的挑战。
不同游戏厂商自建数据平台采用的技术栈和架构往往差别巨大，同时很多游戏企业经过多年的业务发展，内部的数据平台已经积累了海量的历史数据，想要让这部分历史数据发挥价值，也面临着诸多难题。
为了解决这些问题，数数的游戏大数据引擎 ThinkingEngine（简称“TE”系统）的底层架构一直秉持着「开放融合」的理念，因为我们坚信，唯有通过开放的系统架构才能与游戏客户的数据中台团队一起共建高业务价值的企业一站式数据平台。
同样，对于游戏企业自建数据平台来说，也需要在架构设计时充分考虑到开放性，尤其是需要服务多个游戏项目组，或者是发行公司需要服务多个游戏 CP 的场景。
基于数数自己构建 TE 数据平台的经验，给到以下几点建议：
采用存算分离的架构
在数据平台的技术选型上，之前一直会有「存算一体」or「存算分离」的分歧，例如 Clikchouse、Doris、Greenplum 是采用的存算一体的架构；Trino + Iceberg 等 MPP 引擎结合湖仓的架构采用的是存算分离的架构。他们各自的优劣可以用下面这张图来表示：
随着硬件和技术的发展，纯粹极致的性能不再成为业务的瓶颈，反而对于成本的考虑和对业务的适配度是决定数据平台架构选型的主要考虑因素。因此建议数据平台采用存算分离的架构，对于特定对于性能具有极致要求的场景再结合存算一体的数据仓库提供服务。
外部数据源的直连能力
采用存算分离架构后，数据平台需要支持直连访问外部数据源的能力，能够在不进行数据同步的情况下，通过直接访问的方式查询业务数据系统。由于直连跳过了数据集成环节，能够在很短的时间内、花费很少的工作量，将外部数据构建在已有的数据体系中，实现快速集成、相互融合、上手即用。
例如数数 TE 系统的「跨源映射」架构，可以通过简单的配置，将客户自建数仓中的表映射为 TE 系统的 User-Event 数据，无需等待冗长的数据同步时间，即时体验灵活、高效、自定义的分析模块，可以大幅提升数据分析效率。
另外 TE 系统也支持「联邦分析」的能力，可以支持外部几十种数据源，可以将这部分外源数据与 TE 系统内的数据进行联邦查询，例如将外源数据表作为 TE 系统内的维度表，与事件数据进行 join 关联分析。通过这种方式以极短的链路打通企业内部数据孤岛，实现数据的汇集查询分析。
开放引擎的支持能力
大数据技术日新月异，发展很快，新的计算、存储引擎层出不穷，数据平台在设计的时候需要考虑到这部分的开放性，以跟上技术的更迭发展。在底层需要通过统一的查询网关屏蔽掉底层引擎的差异性，向上层应用提供统一的查询服务，在查询网关之下可以通过插件化的方式去适配新的引擎，类似下面的架构图。
查询网关基于上层应用的不同场景，路由到引擎层的不同查询引擎中进行执行，并做好任务的路由调度、执行、监控、队列管理、数据缓存等核心功能，并将查询结果进行统一序列化封装，为应用提供封装好的接口服务。同时也支持插件化的引入新的查询引擎。
对于游戏大厂而言，无论是上云、下云亦或是迁移，都是基于当前业务目标的考虑。在这个过程当中，数数期望可以为游戏厂商可能面对的困境，提供更多的帮助与支持，助力游戏业务长久的发展。
END
