🔥🔥 AllData X Dinky社区Meetup主要介绍AllData全新会员商业版功能以及技术架构、应用场景，同时我们邀请了开源优秀项目Dinky社区PMC高岩老师做Dinky架构分享，让参与者有机会与优秀开源项目嘉宾老师互动交流，后续会做更多的可定义数据中台的技术Meetup分享。
AllData
![]()
![]()
![]()
![]()
![]()
AllData2.0架构设计
![]()
AllData大数据中台创始人详细介绍了数据中台的2.0版本架构，包括对传统央企和轻量级行业公司的需求分析。
他强调了项目的可插拔性和可定义性，以及未来对更多开源框架的集成能力。AllData大数据中台创始人分享了团队的组成和资源，包括技术团队的商业化考虑和社区运营的投入。他还提到了团队在开源社区的一些合作和经验。 AllData大数据中台创始人讨论了项目调研的过程，包括对国内外开源开源组件的调研和对未来商业化的考虑。他提到了团队在选型时考虑的因素，如品牌号召力、社区运营和开源项目的集成性。 会议还进行数据中台2.0版本的人架构分享。最后会议将总结经验教训，提取社区反馈和意见，以期使项目做得更好。
开源大数据组件的调研选型
![]()
主要讲述了团队在开源框架研究方面的背景和成果，提到了一些开源项目和数据平台。
同时，介绍了团队在技术架构设计方面的思考和尝试。会议还分享了AllData 2.0新版架构集成开源大数据组件的实际案例，通过DataVines，Dinky，DataSophon大数据开源项目集成作为案例，分享大数据开源组件集成建设经验，包括无界Wujie开源框架-腾讯前端团队开发的开源框架以及后端可插拔服务“唯一框架”。 最后分享了一个关于数据中台的项目AllData，讲述了一个在2019年完成并已运行5年以上的项目。
数据中台转型与挑战
快速集成与商业化
AllData项目难度与挑战
主要讲述了Github数一数二的数据中台开源项目、同行产品调研，以及如何在这个领域进行交流。
会议提到，国内的大数据开发和产品团队在开源环境中的时间相对较慢，因为国内的大数据架构师或专家通常都在兼职，没有专门从事社区项目。
此外，会议还提到了一个公司组织，这个组织是为了满足项目需求而建立的，同时也需要维护下去。最后，会议提到了一些常用的开源组件，如Hybrid Olap、实时开发等。
数据中台设计与微服务架构
介绍了一个集成了数百个数据源的现代数据栈（Modern Data Stack）框架，也就是AllData 2.0架构框架，该框架旨在为用户提供一条龙的产品，包括数据采集、存储、计算、报表展示、数据服务和MLOPS等技术平台，挖掘出数据内在的价值。
技术架构设计方面，使用了一个最新的图，分别描述数据中台和数据平台两部分。此外，还介绍了框架中的一些功能，如消息能力、微服务、加载引擎等。
最后，提到了未来的一个架构，包括无界Wujie微前端框架、数据中台系统、数据服务等。
团队未来工作规划
主要讲述了团队在开发过程中的一些工作内容和未来计划。
首先，团队会先关注开源社区和商业化公司，并在各大B站、视频号和公众号上分享相关内容。其次，团队会持续进行架构优化和测试，以提高基础平台和大数据平台的稳定性。此外，团队还会分享一些典型案例，如可插拔架构案例，介绍如何提高效率和效率。最后，会议还提到了数据质量和数据管理的重要性，以及未来可能的发展方向。
集成开源组件案例
企业内部技术应用与新架构介绍
会议强调了项目的可插拔性和可定义性，以及团队在在开源社区的合作和经验。通过这次讨论，与会者对大数据中台的未来发展方向和潜在挑战有了更深入的了解。
Dinky定位与功能
主要讲述了集成性系统和工具箱的概念，以及如何通过开源软件和社区项目来满足用户需求。会议还提到了一个开源数据实时开发中台框架，该框架在数据质量方面有很多功能，包括数据目录、元数据等。此外，会议还邀请了一个社区的PMC高岩老师分享Dinky平台的平台使用架构和技术架构。
Dinky的发展历程与功能介绍
主要介绍了Dinky的定位功能、发展历程、功能模块以及开发平台。Dinky是一个开箱式的一站式实时计算平台，以Apple Flink为基础，为Flink提供了一套开发平台。2021年，Flink发展，但当时没有适合Flink开发界面的工具，因此Dinky以学习项目形式在个人仓库开源。
2022年，Dinky更名为Dinky，并开始做轻量化平台。此外，还介绍了Dinky的数据开发功能，包括自动提示补全、参数自动补全、在线调试等。最后，介绍了Dinky的资源管理、监控报警等功能。
Flink SQL生成功能与运维管理优化
作业提交流程与平台拓展方式
主要介绍了任务提交的过程。
