一位技术人和中国数据库共同成长的20年
文摘
科技
2024-09-06 16:37
广东
![]()
导语 |
当今，数字化浪潮席卷全球，数据库已经成为数字经济时代支撑着各行各业的信息化与智能化发展的基础设施。回顾中国数据库的发展轨迹，从起步阶段到如今的百花齐放、蓬勃发展，我们应如何在时代的洪流中把握数据库的发展脉络？腾讯云TVP近日上线了《国产数据库50年：在风雨中崛起，迈向主场》
专访短片，其中邀请了多位见证中国数据库成长的技术专家来共同回顾那些技术攻坚的艰难岁月。本篇文章，我们特邀了快狗打车CTO、腾讯云TVP 沈剑老师
，作为中国数据库发展的见证者，讲述他亲历的数据库演进史和他对未来中国数据库发展趋势独特的洞察。
![]()
沈剑，腾讯云TVP，快狗打车CTO，“架构师之路”公众号主理人。曾任百度高级工程师、58同城技术委员会主席、高级架构师。曾负责58同城系统架构云机房迁移，快狗打车系统架构上云等多个项目的整体方案设计。
20世纪初，中国的数据库市场上国外巨头Oracle、Sybase、Informix、IBM仍然占据主流，但国产数据库也开始萌芽
，一些高校和企业开始研发数据库产品，例如达梦，并进行初步的商业化尝试，但面临着巨大的市场挑战，不过国家在倾斜政策支持方面给予了不少帮助，尤其是核高基项目，为国产数据库的发展提供了重要的推动力。我于2003年就读华中科技大学计算机系，从那时起，我便与数据库技术结下了不解之缘。毕业设计我选择了数据库方向，指导老师是华科数据库所的朱虹教授。没错，达梦最初正诞生于此，其内核代码还有不少是朱教授所编写。在她的指导下，我第一次了解到TPCC测试，第一次接触到DM数据库内核，第一次了解到一个SQL语句完整的执行过程。值得一提的是，在朱教授的鼓励下，我的本科毕业设计第一次在内核新增一个SQL关键字hitratio；自己创建了SQL语句show hitratio用于显示缓冲池（Buffer Pool）命中率。毕业后，我更加坚定了在数据库领域深耕的决心，我毅然报考华中科技大学数据库所的研究生，继续师从朱虹教授，从事数据库内核的研究。我们课题组做的是数据库安全方向，其中我负责内核层的入侵事务回滚。我还记得，当时修改内核，在物理ROW上新增了一个last_modify_tid的字段，并通过影子表记录历史数据，分析出入侵事务污染的数据，反向推出被污染的事务，以及实施所有已提交入侵事务与污染事务的回滚，首创了通过内核完成已提交事务回滚的操作。
20世纪10年代，互联网行业的快速发展
，很多互联网基于MySQL研发自己的Web应用。在我的视角里，这个阶段MySQL在互联网公司中占据了大半壁江山，其开源性在公司发展早期能大规模降低成本，其强大的社区让我们在遇到问题时能比较方便地找到解决方案与技术支持。研究生毕业之后，我进入百度即时通讯百度HI小组，开始了互联网产品的研发之旅。我被分配到了数据库组，做数据库应用的研发。我接触到的两个核心模块，一个叫DBcache，一个叫MSGstore，都是直接与数据库打交道的，为逻辑层提供好用的接口，屏蔽MySQL的复杂性，有点如今微服务的意思。有一个印象很深的技术需求，离线消息拉取优化：从MySQL一次性把离线消息拉取出来，存在DBcache里，应用层分页拉取的时候，不再访问数据库，以提升性能。
互联网快速发展，很快由Web时代进入到APP时代，分布式数据库开始被广泛应用，国产数据库跨越式发展
，在性能、可扩展性和稳定性方面有了显著提升。也不断涌现出一些行业应用案例，基于数据库的整体解决方案逐渐被市场认可，形成了较为完整的数据库产业生态。这一阶段，我在58同城从工程师晋升为了架构师。公司业务的快速发展，数据量激增，并发量激增，对数据可用性的要求越来越高，让数据层面临的挑战也越来越大。我当时调研推进了数据库中间层的项目，采用MySQL官方proxy，还是自研数据库中间层，需要权衡。采用基于客户端的中间层方案，还是采用基于服务端的中间层方案，需要折衷。2015年，实时计算，实时数据处理的需求增加，云数据库逐步兴起与普及，也带动了 NoSQL 数据库的发展。企业内数据库技术开始多样化发展，企业往往会结合传统关系型数据库、 NoSQL、实时图数据库等综合方案解决自己的个性化需求。同年，我从58同城转到到家集团，着手整个技术体系的规划与建设。当时，我们做了一个重要决策，从端到云。和本地数据库相比，云端数据库有许多明显的好处。首先，成本下降，不需要购买昂贵的硬件和基础设施，维护成本也极大降低；其次，可扩展性强，可以根据需求动态调整资源，支持随时扩展或缩减计算和存储能力；至于快速部署，快速管理，数据安全性等，都比自研自维护信心更强。今年6月，武汉达梦数据库科创板上市，看到华科80余岁的冯裕才老教授现身敲钟现场，我的眼睛突然湿润，国产数据库从早期的技术依赖和市场边缘化，到如今的百花齐放，国产数据库的华丽转身是每一位在数据库领域默默耕耘、勇于突破的技术人创造的。而我也想起了这些与中国数据库相伴成长、并肩作战的点滴。在如今数字时代的浪潮中，我相信中国数据库将书写更多技术变革与创新的新篇章。有人问我，数据库技术发展有什么规律，未来数据库技术会往哪个方向发展。我个人认为技术终究是为业务服务的，而业务的痛点，会为技术、数据库的发展指明方向。曾经，费用成为企业的痛点，像MySQL这样的开源数据库成了方向；曾经，数据量、并发量、可用性成为企业的痛点，分布式数据库成了方向；曾经，资源的弹性、可扩展性成为企业的痛点，云数据库成了方向；如今，更大的数据量，更实时的计算，更智能的运维，多存储模式……逐步成为企业的痛点，那么，未来会不会有一款无限容量，无限计算能力，自动诊断与智能运维，满足实时/离线/分析等多模式场景的数据库出现呢？
中国数据库技术能够有今天的成就，背后离不开无数技术先驱的不懈坚持与深入钻研。TVP邀请了和沈剑老师一样亲历了中国数据库技术从蹒跚起步到今日枝繁叶茂的技术专家们，共同回顾那些技术攻坚的艰难岁月与突破瓶颈的辉煌瞬间。
点击立即观看~👇
腾讯云联合TVP专家共同打造的数据库科普纪录片《中国数据库前世今生》现正热播，文末点击「阅读原文」即可观看。中国数据库的发展史，是一部充满挑战与机遇的奋斗史，《中国数据库前世今生》记录着中国数据库历经风雨的50年，致敬了中国数据库历程中每一个重要时刻，也承载了对未来的无限期许，希望能激发更多技术人内心对未来数据库技术发展的探索热情。![]()
👇点击「阅读原文」即可观看完整纪录片
