【多图】2024 DTCC 精彩内容一览

科技   2024-09-11 12:10   北京  

转载韩老师对 DTCC2024 的总结,非常全面,没有去现场的朋友可以直接看本篇文章就好了,全部都是精华


作为年度数据库领域重要的一次会议,2024 DTCC 于8月下旬在北京召开。此次大会较以往有着几点变化,一是国产厂商参与度很高,此次大会吸引了主要头部厂商参加;二是观众关注度高,此次较以往人气很热,会场议题常常座无虚席;三是演讲题目更加深化,随着国产数据库规模化推广,从选型、迁移、实施等多方面话题很受关注。下文是我此次大会部分精华内容的分享,供参考。


1. DTCC 大会回顾:技术篇

1).共享存储

共享存储的方案,在过去一段时间有些沉寂,分布式架构占据了更多眼球;但其实从场景来看,共享存储架构会有更大的空间,能在一定程度上解决单机架构的不足,且没有分布式架构所带来的复杂性。比较欣喜的是,本次大会上看到多家国内厂商经过多年积累,在共享存储架构上逐步成熟完善并开始在生产环境投产。如达梦黄老师就在大会的第一场带来了共享存储架构的分享。

国内老牌数据库厂商-南大通用,也带来了基于GBase 8s的共享存储架构产品。

2).分布式

分布式架构经过多年发展,细分为多种类型,包括基于中间件形态、原生分布式和基于分布式存储。此次大会上南大通用提出一种智能分布式的概念,其实这与下文谈到的一体化概念趋同,就是在单一内核上支持多种产品形态,覆盖单机、主备、分布式等,其来源最早是 OceanBase 提出的单机分布式一体化。这样有利于用户充分享受不同架构带来受益的同时,可以兼顾未来发展。

此外,分布式之前经常受到诟病的就是使用的门槛较高,受先天的一些约束,研发人员不得不改变原有一些开发习惯。例如语法支持受限、必须指定分片键、库内计算的不支持等等。此次大会也看到厂商提出的“透明分布式”的概念,尽量降低分布式门槛,让用户使用更加平滑。正如下文来自腾讯云TDSQL的分享,谈到的“要让用户像使用单机MySQL数据库一样使用分布式数据库...”

针对分布式所带来的额外开销,厂商也纷纷通过多种优化来提升性能,让用户既能享受到分布式带来的吞吐量的提升,也能做到低延迟的访问计算。

3).一体化

如上文所讲,一体化的概念在本次大会上被多次提及。这里所说的一体化,包含了多种解读方式。例如达梦会上提出的架构一体化,通过一套内核代码,提供多种部署形态,高度代码复用,也便于更好的质量控制。

来自南大通用的 GBase 8c,也提出部署多态的问题。

4).兼容性

兼容性是各家厂商都在不断补齐的方向,这其中就包括了对象、语法、数据类型等。如下图就是来自金纂信科 GoldenDB 在兼容性方面的情况。

完美的兼容性是不可能的,要想顺利地替换原数据库还需要完善配套的工具来辅助。如下图就展示了从迁移评估、结构迁移、数据迁移、增量同步、数据比对、流量切换、仿真回切等多个步骤及配套的运维、开发、备份等工具。

5).向量库

向量数据库,是近一段时间很火的一个方向,也是数据库新增领域之一,伴随着大模型技术的推广,也带火了这一细分数据库方向。个人对这个方向并不是很了解,从大会议题上看分享这方面主题挺多的。首先从场景出发,向量数据库的典型场景如下:

如何支持上述场景,向量数据库主要有两种产品路线:一是专有的向量数据库,一种是支持向量功能的传统数据库。可以说两种路线,各有优缺点。

那么作为用户如何来选择呢?可以从易用性、成本、性能等多重角度进行对比。

6).多模态
多模态,是近期又一热门领域,随着更多数据类型被挖掘出来,如何存储与使用值得关注,随着也出现了多模态数据库。这里多模,是指支持多模模型的数据存储;这里多态,是指不同部署形态或者是不同计算形态。

7).云原生
云原生,发展多年,看看来自中移的总结,其将云原生分为内核与平台建设,并进一步划分为四个发展阶段。

其产品海山数据库,正处于第三阶段向第四阶段发展之中,并提出了一体化融合架构,包括有架构融合、引擎融合、场景融合,一套架构适用不同规模业务用户。

8).超融合
超融合,也是近期一个发展方向,听听来自梁老师的分享,他从融合诉求的起源开始,以交通为例描述了一个业务复杂场景(包含有多种模型数据)。

针对上述复杂需求,现有单一数据库产品是无法满足的,要么通过方案整合在一起(无疑其复杂度是很高的),要么就是提供一种超融合方案,将复杂留给自己。

9).湖仓一体
数仓技术发展多年,从早期的传统数仓,到大数据数仓,再到当前的湖仓一体,经历了多个发展阶段。

数据湖和数据仓库,作为两种重要的数据载体,各有其优劣势。

如何发挥各自所长,形成一体化方案,正是当前湖仓一体概念流行的根本。

10).实时数仓

实时数仓,与传统数仓不同,有着鲜明的业务特点及对应的技术要求。看看来自 GBase 8a 的实时数仓实践,从数据采集、数据计算(流式、库内)、数据消费与展示,展现了采用实时数仓的全链路数据使用场景。

当把实时数仓搬到云上,有会面临新的挑战,看看来自Databend的解法。

11).生成式AI
信息的语言是数据模型,知识的语言是嵌入向量,人工智能为探索智慧提供一种可能。

12).新理论
在会议上海翔老师,带来了他的新理论及原型产品C2DB,所谓C2即一致性与高并发;并通过新技术的工程化实现给人带来期待。非常期待海翔老师的这一颠覆性数据库产品能早日公开。


2. DTCC 大会回顾:产品篇

1).产品布局

国产数据库产品发展多年,已逐步形成了较为完善的产品体系。本次大会上,几家厂商也都介绍了自己的产品族。以达梦为例,通过发展历史介绍了各产品的演进脉络。

南大通用则从场景角度出发,介绍其产品如何布局。

移动云则带来了一站式云原生产品矩阵,还将各产品标注了云原生的等级(L1-L4)。

2).架构演进

从架构演进角度,天翼云带来了对数据库产品架构研发方向的思考。

3).Serverless

Serverless,作为云产品的发展方向之一,下图说明其本质。其核心就在于将资源供给方式搬到云之外,真正实现了资源“按需供给”,实现了云计算的初衷。


3. DTCC 大会回顾:实践篇

1).存储优化

针对数据库底层存储,给出的若干使用建议。

2).性能诊断
利用eBPF数据采集技术与人工智能的结合,突破原有监控、审核系统短板,提供全新的使用体验。

3).数据治理

将数据资产量化处理,把握数据治理源头。

明确数据资产使用权限与规范。

4).稳定性保障
构建稳定性模型,区分常量与变量部分,覆盖项目全周期的稳定性保障方案。

5).Devops
让研发具备DBA的能力,通过工具平台赋能开发。


4. DTCC 大会回顾:其他篇

1).现状分析

针对当前重点行业数据库使用现状的调研数据。



全文完,希望可以帮到正在阅读的你,如果觉得有帮助,可以分享给你身边的朋友,同事,你关心谁就分享给谁,一起学习共同进步~~~

欢迎关注我的公众号【JiekeXu DBA之路】,一起学习新知识!



分享几个数据库备份脚本

一文搞懂 Oracle 统计信息

我的 Oracle ACE 心路历程

MOP 系列|MOP 三种主流数据库索引简介

Oracle 主流版本不同架构下的静默安装指南

关机重启导致 ASM 磁盘丢失数据库无法启动

Oracle SQL 性能分析(SPA)原理与实战演练

Oracle 11g 升级到 19c 需要关注的几个问题

Windows 10 环境下 MySQL 8.0.33 安装指南

SQL 大全(四)|数据库迁移升级时常用 SQL 语句

OGG|使用 OGG19c 迁移 Oracle11g 到 19C(第二版)

Oracle 大数据量导出工具——sqluldr2 的安装与使用

从国产数据库调研报告中你都能了解哪些信息及我的总结建议

使用数据泵利用 rowid 分片导出导入 lob 大表及最佳实践

在归档模式下直接 rm dbf 数据文件并重启数据库还有救吗?

欢迎关注我的公众号【JiekeXu DBA之路】,一起学习新知识!
——————————————————————————
公众号:JiekeXu DBA之路
墨天轮:https://www.modb.pro/u/4347

CSDN :https://blog.csdn.net/JiekeXu
ITPUB:https://blog.itpub.net/69968215
腾讯云:https://cloud.tencent.com/developer/user/5645107
——————————————————————————


JiekeXu DBA之路
JiekeXu:Oracle ACE-Pro,获 Oracle OCP/OCM 及 MySQL OCP 认证,墨天轮 MVP,利用闲时间记录菜鸟 DBA 学习成长之路,所发布文字属于个人观点和学习笔记,如有错误及不当之处,敬请批评指正!
 最新文章