导读 本文主要分享官方运维管理平台Cluster Manager for Apache Doris的体验总结。
全文目录:
标准化 VS 可视化运维管理
环境信息
前置准备
集群初始化
集群升级
集群扩所容
多集群管理
总结
1. 硬件信息
内存:48C
CPU:256G
CPU架构:X86_64
2. 软件信息
Doris版本:2.0.2
SelectDB版本:2.0.2
Manager版本:23.10.3
系统:CentOS
官方专项微信群公告中应有尽有,还没有进群的小伙伴们可私拉你!
1. 安装包准备
(1)Manager下载地址:
https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz
(2)Doris/SelectDB下载地址
Doris:https://doris.apache.org/zh-CN/download
SelectDB:https://blog.csdn.net/ith321/article/details/134626034
2. 文档手册准备
(1)部署手册:
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
(2)使用指南:
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
(3)FAQ文档:
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
(4)WebUI文档:
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
(5)问题收集与反馈:
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb
1. 系统参数预设
① 交换分区(swap)未关闭,请打开终端窗口, 输入以下命令以禁用交换分区:
sudo swapoff -a
② 最大打开文件数小于65535,请打开终端窗口,输入以下命令:
sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p
③ 虚拟内存区域数量不符合要求,请打开终端窗口,输入以下命令:
sudo sysctl -w vm.max_map_count=2000000
④ 机器时钟一致
各节点之间的时差默认需要小于5秒。
2. Manager部署
① 创建一个Manager目录
mkdir manager
cd manager
② 上传准备的Manager和SelectDB包
③ 解压Manager包
tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz
Manager安装目录说明。
deps // Doris Manager 管控依赖组件
alertmanager // 告警工具
grafana // 监控看板工具
jdk // jdk依赖包
prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件
bin // 启停脚本
conf // 配置文件
lib // 服务二进制
webserver // Doris Manager Web 服务组件,这是网页入口服务,需要手工启动
bin // 启停脚本
conf // 配置文件
config-tool // Doris Manager 服务管理工具
inspection // 巡检脚本
lib // 服务二进制
static // 前端静态文件
④ 配置web服务(可选)
不配置时,默认会将web服务的元数据存放在一个h2内置小数据库。
vim webserver/conf/manager.conf
manager.conf 如下:
# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004
# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql
# 如果数据库类型为h2,默认的数据存储路径为webserver目录下的data路径,
# 用户也可以指定自定义的绝对路径
DATA_PATH=
# 如果数据库类型为mysql,配置mysql数据库的访问地址
DB_HOST=127.0.0.0
# 配置mysql数据库的访问端口
DB_PORT=3306
# 配置mysql数据库的访问用户
DB_USER=root
# 配置mysql数据库的访问用户密码
DB_PASS=root
# 配置mysql数据库的访问Database名称,需要提前创建
DB_DBNAME=manager
⑤ 启动web服务
sh ./webserver/bin/start.sh
由于本次是用Mysql作为Manager元数据库,当服务正常启动后、对应的DB下也会自动初始化相关表。
同时会起相应的进程doris-manager.jar。
⑥ 访问web服务
直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口},比如http://127.0.0.0:8004
⑦ 初始化Manager管理员账号密码
⑧ 配置服务组件部署信息
根据自己环境填写,如果暂时用不到监控告警模块可以选择[关闭];填写后点击【启动Doris Manager】。当前没有开启监控告警服务,后续可以重新打开。
⑨ 部署服务组件
点击【启动Doris Manager】后 ,提示正在启动 Doris Manager。
启动成功后,提示用户进入 Doris Manager,即Managerbu部署完成 :
3. 新集群部署
① 新建集群
填写自定义的集群名称、选择部署版本(会根据填写的包路径自动识别)以及数据库root用户密码后,点击【下一步】。
② 节点配置
根据集群节点信息填写后点击【部署集群】即可。
③ 开始部署
部署成功后,提示用户进入集群:
进入集群,如下所示,即新集群部署完成:
4. 监控告警
由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口,如下可重新开启监控告警。
(1)监控
Manager 监控模块集成了丰富的监控指标,相较于自己搭建Prometheus和Grafana去做监控指标可视化,大开方便之门。
(2)告警
Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知,不会让你错过任何一条异常告警信息,非常贴心。
至此,集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。
1. 新包准备
准备好新版本的包与之前的包放在同一级目录下。
2. 一键升级
Manager中选择【集群升级】。
选择目标版本,这里用的是SelectDB 2.0.3 rc04作为升级的目标版本,之后直接点点即可。
3. 升级验收
点击右上角可查看当前的版本,核验无误【立即验收】。
1. 一键扩容
以BE为例,选择【BE扩容】。
可以单独扩容一个节点、也可以选择【批量添加节点】,之后直接点点即可。
扩容结果查看。
2. 一键缩容
以刚刚扩容的BE为例,选择【BE缩容】。
确定需要下线缩容的BE节点【选择下线】,之后直接点点即可。
缩容结果查看。
Manager支持同时管理多套集群。在已有一套集群的情况下,可以继续新建集群或者接管现有集群。本次以接管集群为例,接管现有的Doris 2.0.2集群。
1. 新建/接管集群
2. 环境配置
自定义集群名称,选择【接管现有集群】。
3. 节点配置
填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后,Manager会自动识别待接管集群的FE和BE节点信息。
之后直接点【接管集群】即可自动接管完成。
一个字总结:丝滑!
两个字总结:极致丝滑!!
至此,【Apache Doris】Manager 极致丝滑地运维管理 分享结束,查阅过程中若遇到问题欢迎留言交流。
往期推荐