AllData数据中台开源项目-技术架构分享

文摘   科技   2024-06-11 20:47   广东  


🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

开源项目:https://github.com/alldatacenter/alldata

官方文档:https://alldata.readthedocs.io

✨社区文档:https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo





AllData数据中台开源项目
 01 权益介绍篇 



AllData数据中台开源项目
 02 权益预览篇 



AllData数据中台开源项目
 03 功能讲解篇 



AllData数据中台开源项目
 04 团队介绍篇 



AllData数据中台开源项目
 05 四年总结篇 



AllData数据中台开源项目
 06 数据中台功能篇/1 



AllData数据中台开源项目
 07 数据中台功能篇/2 



AllData数据中台开源项目
 08 数据中台(K8S)功能篇



AllData数据中台开源项目
 09 实时开发X实时开发IDE功能篇 



AllData数据中台开源项目
 10 离线平台 X 新版数据质量 X 新版BI平台篇 




AllData2.0架构设计



AllData大数据中台创始人详细介绍了数据中台的2.0版本架构,包括对传统央企和轻量级行业公司的需求分析。

他强调了项目的可插拔性和可定义性,以及未来对更多开源框架的集成能力。AllData大数据中台创始人分享了团队的组成和资源,包括技术团队的商业化考虑和社区运营的投入。他还提到了团队在开源社区的一些合作和经验。
AllData大数据中台创始人讨论了项目调研的过程,包括对国内外开源开源组件的调研和对未来商业化的考虑。他提到了团队在选型时考虑的因素,如品牌号召力、社区运营和开源项目的集成性。

会议还进行数据中台2.0版本的人架构分享。最后会议将总结经验教训,提取社区反馈和意见,以期使项目做得更好。





AllData数据中台的调研选型


主要讲述了团队在开源框架研究方面的背景和成果,提到了一些开源项目和数据平台。
同时,介绍了团队在技术架构设计方面的思考和尝试。会议还分享了AllData 2.0新版架构集成开源大数据组件的实际案例,通过DataVinesDinkyDataSophon大数据开源项目集成作为案例,分享大数据开源组件集成建设经验,包括无界Wujie开源框架-腾讯前端团队开发的开源框架以及后端可插拔服务“唯一框架”。
最后分享了一个关于数据中台的项目AllData,讲述了一个在2019年完成并已运行5年以上的项目。





数据中台转型与挑战


主要讲述了行业背景下的增长趋势放缓,以及数据中台的问题。讲者提到,行业增长放缓,市场规模达到百亿级别。2023年市场规模为183亿。同时,数据中台面临效率低下、数据量问题、集群资源等问题。
讲者认为,基于现有技术和产品,未来需要解决转型问题,如DataOps加AI支撑。此外,讲者还提到了客户画像和需求场景,如传统央企、轻量级证券公司等。








速集成与商业化



在未来五年或十年内,如果其他外国软件或国内开源项目出现,我们可以提供一套框架快速集成到我们的平台上,以便快速进行数据迁移和任务重叠组件的选型。我们希望这些框架能用于调研未来的框架,以满足不同产品的需求。
此外,我们团队致力于将数据中台做得更好,目前有80%的资源投入到开发上,还有销售经理、法务、财务等职位在做其他事情。我们的团队是一群人,致力于把这件事做好。






AllData项目难度与挑战 


主要讲述了Github数一数二的数据中台开源项目、同行产品调研,以及如何在这个领域进行交流。

会议提到,国内的大数据开发和产品团队在开源环境中的时间相对较慢,因为国内的大数据架构师或专家通常都在兼职,没有专门从事社区项目。

此外,会议还提到了一个公司组织,这个组织是为了满足项目需求而建立的,同时也需要维护下去。最后,会议提到了一些常用的开源组件,如Hybrid Olap、实时开发等。



数据中台设与微服务架构

介绍了一个集成了数百个数据源的现代数据栈(Modern Data Stack)框架,也就是AllData 2.0架构框架,该框架旨在为用户提供一条龙的产品,包括数据采集、存储、计算、报表展示、数据服务和MLOPS等技术平台,挖掘出数据内在的价值。
技术架构设计方面,使用了一个最新的图,分别描述数据中台和数据平台两部分。此外,还介绍了框架中的一些功能,如消息能力、微服务、加载引擎等。
最后,提到了未来的一个架构,包括无界Wujie微前端框架、数据中台系统、数据服务等。




团队未来工作规划


主要讲述了团队在开发过程中的一些工作内容和未来计划。

首先,团队会先关注开源社区和商业化公司,并在各大B站、视频号和公众号上分享相关内容。其次,团队会持续进行架构优化和测试,以提高基础平台和大数据平台的稳定性。此外,团队还会分享一些典型案例,如可插拔架构案例,介绍如何提高效率和效率。最后,会议还提到了数据质量和数据管理的重要性,以及未来可能的发展方向。






集成开源组件案例






企业内部技术应用与新架构介绍

主要介绍了企业级生产流程中的生产系统,包括新版商业版2.0架构,保留很多原有功能,全新优化和升级产品功能效果、UI等。同时,提到了开源图、源码等内容,以及数据平台的功能。
此外,还介绍了项目系统和新的架构图,并分享了工作流和系统使用体验。最后,提到了与多个开源社区的开源生态合作,希望未来能一起创造生态,提升项目功能。总的来说,会议对开源项目AllData架构设计进行了全面的探讨,包括项目的技术架构、团队资源、调研选型、案例分析以及AllData平台的技术架构分享。

会议强调了项目的可插拔性和可定义性,以及团队在在开源社区的合作和经验。通过这次讨论,与会者对大数据中台的未来发展方向和潜在挑战有了更深入的了解。






AllData数据中台 -  全新架构功能效果 





01 新版核心功能 -  数据集成 





02 新版核心功能 -  数据质量 




03 新版核心功能 -   数据标准 



04 新版核心功能 -  元数据管理 





05 新版核心功能 -  数据资产 





06 新版核心功能 -  数据服务 




07 新版核心功能 -  数据比对 





08 新版核心功能 -  离线平台 




09 新版核心功能 -  实时开发平台(StreamPark)




10 新版核心功能 -  实时开发IDE(Dinky)




11 新版核心功能 -  数据平台(DataSophon)





12 新版核心功能 -  数据平台(CloudEon)




13 新版核心功能 -  BI平台(Datart)




14 新版核心功能 -  数据质量(DataVines)






 往期精选文章(按时间倒序) 



1、AllData X Dinky 技术架构分享纪要
  AllData X Dinky 技术架构分享纪要


2、AllData数据中台开源项目功能系列教
 AllData全新会员商业版功能系列教程

3、AllData数据中台开源项目发布 X 架构Meetup
 AllData全新会员商业版发布 X 架构Meetup

4、AllData年度总结 X 千行百业 X 数据中台
AllData年度总结 X 千行百业 X 数据中台

5、开源AllData大数据产品 X 4周年 
开源AllData大数据产品 x 4周年 x 10月6日

6、 AllData & DataFun直播分享数据平台
AllData & DataFun直播分享数据中台

7、AllData & DataFun数据中台分享会议纪要 
AllData & DataFun数据中台分享会议纪要

8、 AllData X Datavines X Datart技术Meetup 
AllData社区  Datavines  跑象科技Meetup

9、 AllData年度专题会议纪要 
AllData 2023年度专场主题分享

10、 AllData可定义化数据中台 
细分领域AllData数字化解决方案



大数据商业驱动引擎
奥零数据科技公司拥有核心产品AllData可定义数据中台,提供多样开源大数据组件模板,快速搭建极致性价比的数据中台。开源项目:https://github.com/alldatacenter/alldata