背景
Cloud Native
本地存储:数据存放在 Pod 所在节点上的数据卷,例如 hostPath、emptyDir 等;
Secret 和 ConfigMap:两种特殊的数据卷,包含集群内部对象的信息;
PVC:一种定义集群外部数据卷的方式,能够将外部存储介质接入到集群中。在 ACK 集群中,我们较为推荐的三种阿里云云存储分别为云盘、NAS、OSS,它们覆盖的业务场景各不相同。通过 PVC 的方式将阿里云云存储接入到集群后,ACK 能够帮助用户更好地满足业务需求,拓宽业务场景。
新大盘优化思路
Cloud Native
新存储监控大盘涵盖了 K8s 集群内部存储和外部存储两种存储形态。集群内部存储支持:
RootFS 监控:查看容器 RootFS 空间使用率和实时读写速率。
Pod 临时存储监控:查看临时存储空间使用率和 Inode 使用率。
云盘存储卷监控:查看云盘存储卷的概要信息(名称、命名空间、空间使用率等)、实时读写速率、读写延迟和读写吞吐量。
NAS 存储卷监控:查看 NAS 存储卷的概要信息(名称、命名空间、空间使用率等)、实时读写速率、读写延迟和读写吞吐量。
OSS 存储卷监控:查看 OSS 存储卷的概要信息(名称、命名空间、空间使用率等)、实时读写速率、读写吞吐量、OSS 操作每秒执行次数、POSIX 操作每秒执行次数和热点文件。
从具体改进形式上来说,本次更新上线了云盘、NAS、OSS 三块新的监控大盘,同时还在集群、节点、Pod 这三块已有监控大盘中添加了跟存储相关的监控图表。
新大盘内容展示
Cloud Native
其中,PVC 信息表格给出了所有云盘存储卷的信息,包括 PV 和 PVC 的名称、命名空间、所在节点、对应设备名称以及空间使用率等信息。PVC 绑定的 Pod 信息表格给出了 PVC 和工作负载的对应关系。大盘中的其他图表展示了云盘的空间使用量和实时读写数据。
NAS 监控大盘与云盘监控大盘的内容基本相同,唯一区别在于 PVC 信息表格中展示的是每个 NAS 存储卷的挂载点地址,而不是设备号。
其中,PVC 信息表格给出了每个 OSS 存储卷的 bucket 名称和其他基本信息。除了实时读写数据外,OSS 大盘还给出了各种 OSS 操作和 POSIX 操作每秒执行次数的统计数据,以及读写操作的热点路径统计数据。
Pod 监控大盘中新增了 RootFS 和 Ephemeral Storage 的监控数据,其中 RootFS 相关指标展示了 Pod 中所有容器的 RootFS 相关信息,如可用存储空间总量、读写总数据量等。而 Ephemeral Storage 相关指标则涵盖了以下三个部分的相关信息:
除 tmpfs 类型的 emptyDir 外,Pod 挂载的其他类型 emptyDir
节点上存储 Pod 日志的文件
Pod 中所有容器的可写层
增强的 Ephemeral Storage 监控能力
注意大盘中的 Ephemeral Storage Usage(%) 图表只会显示所有配置了 resources.limits.ephemeral-storage 的容器的信息。
总结
Cloud Native
容器存储是容器应用运行时的数据保障,本次 ACK 容器存储监控的更新能够帮助用户全面、精细地掌控集群中的存储细节,快速定位业务运行过程中可能出现的 IO 瓶颈和 IO 问题,更好地保证业务的平稳运行。
参考文章:
https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/
https://github.com/google/cadvisor/pull/2872
https://github.com/google/cadvisor/pull/2964/files#diff-68b17ffbed25b18140ee93332bd2a1f259a4eff46ccf93ca800bd2386041437b