从10分钟到10秒，【功夫源】打下金融量化分析的门槛！

概 述

机会 | 打破金融分析壁垒

推动量化分析普惠化

量化分析作为基于计算机算法和数学模型为基础的科学方法论，能够在瞬息万变的金融行业中迅速分析海量数据并捕捉其发展动态，发现投资机遇，是金融投资机构实现长期盈利的核心。传统上，金融数据分析和交易系统主要由大型金融机构掌控，对于想要应用量化分析的普通投资者来说，不仅面临着获取专业数据的困难，还要应对高昂的计算成本和复杂的技术门槛。

在此背景下，致力于为普通投资者提供高端的金融分析工具的“功夫量化”小程序应运而生。面对金融数据的高成本和技术壁垒，功夫源基于其十年头部金融服务经验打磨而成的微秒延迟的量化交易系统，为普通投资者带来了0代码易于上手的金融数据分析服务。不同于传统金融软件，功夫源能够帮助用户实现对Level-2数据（深度行情数据，包含成交数据和订单队列数据）更深入的洞察。通过应用云原生技术和生成式AI技术，功夫源正在推动量化分析向更广泛的用户群体开放，实现普惠金融的目标。

在金融领域的创新实践中，功夫源遇到了一系列技术挑战。首先，处理TB或PB级数据时，传统硬件资源管理需要人工操作，微小错漏便会影响业务连续性。并且，在代码编写后仍需进行硬件扩缩容的配置、高可用的配置，操作系统版本，以及定期维护漏洞补丁等手动调度管理工作。

同时，功夫源的用户发起的量化分析行为实时且难以预测，用户随时可能启动程序进行策略分析或股票数据深度挖掘等行为。在高峰期，系统难以预先配置和分配资源，可能导致资源预置不足，影响系统稳定性和用户体验；在低峰期资源预置过多则会导致资源浪费。此外，传统技术栈在数据加载和处理方面效率低、内存消耗大，进行全量数据分析需耗时约10小时，导致客户等待时间增加。

面对资源管理和数据处理效率的双重挑战，具有敏捷性和快速扩展能力的无服务器技术为功夫源提供了有效的解决方案。而功夫源与亚马逊云科技的深度合作，则与功夫源创始人&CEO董可人的个人经历密不可分。早在2010年，董可人在英国伦敦的金融行业历练中就已经开始运用亚马逊云科技的技术栈。在2015年，国内云计算行业尚处于发展初期之际，董可人凭借对亚马逊云科技服务和技术的深刻理解，选择了使用亚马逊云科技中国区域的服务。近十年来，功夫源见证了亚马逊云科技从虚拟化技术到无服务器架构的演进，对其在无服务器技术领域的创新实力给予了高度认可，因此坚定地选择了亚马逊云科技作为云服务提供商。

解决方案 | 深度拥抱无服务器技术

实现大规模数据分析和“零运维”

功夫源利用无服务器编排服务Amazon Step Functions和无服务器计算服务Amazon Lambda搭建了一套先进的大数据处理框架，实现了数据处理分析的飞跃。

Amazon Step Functions所具备的分布式映射（Distributed Map）功能，为处理大规模数据提供了一种高度并行化的解决方案。通过自动分配和管理成千上万的并发任务，显著提高了数据处理的吞吐量和效率。同时，这一功能还能与Amazon Lambda、Amazon API Gateway等亚马逊云科技云服务无缝集成，构建完整的数据处理流水线，大幅提升了数据处理的速度和效率。

功夫源通过运用Amazon Step Functions的分布式映射（Distributed Map）功能，有效拆分了大规模的股票分析任务。待分析的数据保存在Amazon S3上，通过对其进行分片，启动上万个子任务并行处理数据。每个子任务都通过调用亚马逊云科技无服务器计算服务Amazon Lambda来处理数据。

Amazon Lambda可以在短短数秒内启动上千个实例并行处理大量金融数据，无需用户管理基础设施，且具备内置的高可用性和高安全性。利用亚马逊云科技无服务器架构，功夫源可以在需求高峰期迅速扩展Amazon Lambda计算实例，构建了类似MapReduce的分布式计算框架，实现大数据分析的并行处理，将整个批处理任务的执行时间从原来的十分钟缩短至10秒以内。

此外，Amazon Step Functions还支持对Amazon S3上的JSON格式和CSV格式数据按照所需的配置进行分片处理，分片后可同时启动多达10,000个子工作流执行，从而实现秒级处理百万条数据的能力。

功夫源基于亚马逊云科技的系统架构示意图

由于进行量化分析用户需求不可预测，功夫源系统对弹性要求高，需要在不占用固定硬件资源的情况下实时响应用户的需求。另一方面，功夫源的计算程序并非全天候运行，例如凌晨时间少有客户进行专业的金融数据处理，因此需要灵活的资源调配能力。Amazon Lambda拥有自动扩缩容功能，能够对资源进行自动化管理。该服务按照代码触发次数和运行时长收费，代码未运行时，功夫源无需支付任何费用。同时，Amazon Lambda每10秒可扩展1000个并发实例，还可以在几十毫秒内瞬时启动，响应突发请求，无需担心用户等待时间问题，提升用户体验。

考虑到实体硬件资源需要人工启动和监控，以及来自软件配置和系统升级的挑战容易影响产品稳定性，功夫源选择应用亚马逊云科技无服务器解决方案来实现统一调度和管理，只需专注于编写Amazon Lambda函数，无需再进行繁琐的运维管理，实现了“零运维”的目标，显著降低了运维成本。

业务成果 | 软件开发周期从12个月缩短至4个月

让量化分析“触手可及”

功夫源与亚马逊云科技于2024年4月展开合作，借助亚马逊云科技丰富的客户实践经验，功夫源在短短两天内迅速明确了业务方向，并在一天内完成了技术概念验证（POC）和后端代码调试。随后仅用两周时间，功夫源便推出了业务的最小可行产品（MVP）。在亚马逊云科技的支持下，功夫源展现了高效的产品开发能力。现如今，“功夫量化”小程序已经成功上线，为普通投资者提供简单易用的量化分析服务。即使是没有编程技能或不熟悉专业分析工具的用户，也可以通过这个免费的小程序，以自然语言问答的方式来迅速获取实时的数据分析结果，轻松实现智能化投资决策。

在合作过程中，亚马逊云科技的专业服务团队提供了及时的反馈和支持。由于亚马逊云科技拥有上百种不同的产品和服务，功夫源在学习这些服务或定位问题时缺乏经验，若依赖自行阅读文档和学习，可能会耗费大量时间并走许多弯路。然而，亚马逊云科技的解决方案架构师和技术人员都深度参与到功夫源的服务使用过程中，帮助其快速解决了一些原本复杂且具有技术挑战的问题，大大提升了开发效率。

基于亚马逊云科技的无服务器技术，功夫源实现了功能的灵活解耦与模块化，快速实现细粒度功能的发布和升级，加快产品上市速度，将整个软件开发周期由12个月缩短至4个月。在面对海量金融数据时，应用亚马逊云科技的大数据处理架构，功夫源拥有了秒级处理百万条数据的能力，成功将批处理任务的执行时间从十分钟缩短至10秒以内。并且，通过无服务器技术的弹性伸缩和按需付费的模式，功夫源有效降低了运维成本，同时提升了系统的稳定性和安全性。

在飞速发展的数字时代，拥抱创新技术至关重要。功夫源对于无服务器解决方案的深度应用具有高度的行业可复制性，为处理大规模、高并发执行的项目提供了最佳实践。这种基于Amazon Step Functions的高并发数据处理架构还能够在游戏和体育赛事等行业的实际应用中发挥关键作用，该架构能够在数分钟内处理并发送千万级的大规模个性化消息推送，显著提升用户体验和运营效率。

未来，功夫源将持续深耕国内业务，确保服务国内用户的核心使命，并在此基础上计划逐步拓展国际业务。由于功夫源的技术架构基于亚马逊云科技，出海时将主要关注产品层面的适配，而无需担心技术层面的变迁。同时，功夫源将进一步探索生成式AI与量化分析的结合，为用户提供更加智能、高效和个性化的量化金融服务体验。