CubeFS v3.4.0 版本发布于 2024 年 10 月 31 日,本版更新内容如下:
01
更新内容
主要 Feature:
坏盘自动迁移。
dp 副本自愈。
datanode 上报 master 遇到 IO error 的 dp。
快照的基本能力。(体验版本,默认关闭)。
完善磁盘、dp 维度读写多维度的统计及汇总。
主要 Enhance:
dp 下线原子性:master 切主或者重启,datanode 重启或者网络异常都不会影响当前 dp 下线过程的正确性。
dp 下线进度展示: cli 工具的 datapartition check 命令可以展示下线中 dp 副本的下线进度。
完善磁盘、dp 维度读写多维度的统计及汇总。
metanode 支持 accessTime 持久化。
libsdk 提供判断目录、文件接口。
master 间通信支持使用链接池。
主要 Bugfix:
修复了部分 master 死锁的问题。
修复了当卷不存在或者被删除等原因,客户端会进行无效重试挂载的问题。
修复了 zone 拓扑改变后,无法指定 zone 中选择空闲节点创建 dp/mp 的问题。
版本地址:
https://github.com/cubefs/cubefs/releases/tag/v3.4.0
02
特性介绍
坏盘自动迁移&IO Error dp 上报
当集群中数据节点上的磁盘遇到 IO Error 后,会将坏盘信息以及遇到 IO error 的 dp 列表上报给 master。如果集群开启了坏盘自动迁移功能,那么 master 就会启动坏盘自动迁移任务,将坏盘上的所有副本都执行下线操作,将副本转移到集群中其他节点的正常磁盘上。
dp 副本自愈
集群中的副本可能会因为某些异常原因,出现缺少 leader,丢失副本,副本之间元数据不一致无法选举等情况。如果集群开启了 dp 的自愈功能,master 会通过定期任务,对异常 dp 进行修复,保证 dp 副本数据的可靠性。
03
后续版本计划
3.5.0 版本更新预告:
数据分层。
生命周期管理。
04
特别感谢
此外,感谢参与此版本设计、开发贡献的各位社区成员:
Whale Tang,@true1064
Victor1319, @Victor1319
leonchang,@leonrayang
AmazingChi, @bboyCH4
tangdeyi,@tangdeyi
Wei Ma, @mawei029
自然选择@NaturalSelect
longerfly,@longerfly
slasher,@sejust
zhengshuqiang, @shuqiang-zheng
CubeFS 简介
CubeFS 于2019年开源并在 SIGMOD 发表工业界论文,目前是云原生计算基金会 (CNCF) 托管的孵化阶段开源项目。作为新一代云原生分布式存储平台,兼容 S3、POSIX、HDFS 等协议,支持多副本和纠删码引擎,提供多租户,多 AZ 部署、跨区域复制等特性;适用于大数据、AI、容器平台、数据库及中间件存算分离,数据共享、数据保护等广泛场景。
►►►
往期推荐
文章转载自CubeFS。点击这里阅读原文了解更多。
CNCF概况(幻灯片)
扫描二维码联系我们!
CNCF (Cloud Native Computing Foundation)成立于2015年12月,隶属于Linux Foundation,是非营利性组织。
CNCF(云原生计算基金会)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。请关注CNCF微信公众号。