openGemini社区新数据写入协议开发小组,闪亮登场!

文摘   2024-10-21 09:24   中国香港  


1

特性名称

openGemini高性能数据写入协议开发

2

特性目标

在现有基础上,实现openGemini单机性能提升50%

3

特性背景

当前 openGemini 数据写入采用了 InfluxDB 的行协议,通过HTTP协议导入,在海量数据写入场景下,存在着以下一些问题:


  • 客户端编码,服务端解码开销大

  • 需要对每行数据的 field 和 tag 进行排序,开销较大

  • 每行数据都有表名称,tag key 和 field key,批量写入时信息冗余

  • 相较于直接使用 TCP 协议,HTTP协议偏重,GZIP 压缩解压效率偏低

4

技术方案

一句话总结,使用TCP协议代替HTTP,设计新的协议格式统一数据写入数据结构,减少冗余数据和服务侧的数据处理开销。


详细讨论见:

https://github.com/openGemini/openGemini/issues/752 

5

社区特性开发成员

6

相关信息

openGemini社区人才培养计划:助力成长,培养新一代云原生数据库人才


openGemini社区伙伴共建计划:携手共创,共同成长


欢迎访问WELCOME TO VISIT

openGemini官网
https://www.openGemini.org


Star for me 🌟

https://github.com/openGemini

更多精彩内容,可以关注openGemini微信公众号查看,还有交流群等你加入哦~


文章转载自openGemini点击这里阅读原文了解更多

CNCF概况(幻灯片)

扫描二维码联系我们!




CNCF (Cloud Native Computing Foundation)成立于2015年12月,隶属于Linux  Foundation,是非营利性组织。 

CNCF云原生计算基金会)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。请关注CNCF微信公众号。

CNCF
云原生计算基金会(CNCF)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。
 最新文章