Doris Manager 极致丝滑地运维管理

文摘   2024-10-25 00:00   重庆  

  导读   本文主要分享官方运维管理平台Cluster Manager for Apache Doris的体验总结。

全文目录:

  1. 标准化 VS 可视化运维管理

  2. 环境信息

  3. 前置准备

  4. 集群初始化

  5. 集群升级

  6. 集群扩所容

  7. 多集群管理

  8. 总结



标准化 VS 可视化运维管理

标准化运维管理,首先得自己手动在集群的每台节点上去分发包、并解压;然后分别对FE和BE进行配置初始化(FE主要修改IP和JAVA目录,BE主要修改IP、JAVA目录和存储路径配置)。
做完上面的包分发及配置初始化后,还需分别到对应节点去启动FE、BE和Broker进程,如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起,然后通过Client逐个Add加入集群即可,但FE集群有类似Zookeeper的选举机制,所以非第一个FE节点第一次启动时、还得注意加–helper命令。
初始化完集群后,如果想做可视化监控得另外集成Prometheus和Grafana,如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来,运维管理体系算是基本完成了,但是天都夜màma了。
可视化运维管理(Cluster Manager for Apache Doris,简称 Doris Manager,再简称 Manager),它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。
Manager能够快速拉起一套又一套的Doris/SelectDB集群,集成了监控告警、集群巡检和WebUI等模块,提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口,能够极大地提高运维管理效率,且使用起来也非常顺畅。
接下来一起来纵享Manager的丝滑体验吧!
环境信息

1. 硬件信息

  • 内存:48C

  • CPU:256G

  • CPU架构:X86_64

2. 软件信息

  • Doris版本:2.0.2

  • SelectDB版本:2.0.2

  • Manager版本:23.10.3

  • 系统:CentOS

前置准备

官方专项微信群公告中应有尽有,没有进群的小伙伴们可私拉你!

1. 安装包准备

(1)Manager下载地址:

https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz

(2)Doris/SelectDB下载地址

  • Doris:https://doris.apache.org/zh-CN/download

  • SelectDB:https://blog.csdn.net/ith321/article/details/134626034

2. 文档手册准备

(1)部署手册:

https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin

(2)使用指南:

https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin

(3)FAQ文档:

https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink

(4)WebUI文档:

https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide

(5)问题收集与反馈:

https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb

集群初始化

1. 系统参数预设

交换分区(swap)未关闭,请打开终端窗口, 输入以下命令以禁用交换分区:

sudo swapoff -a

② 最大打开文件数小于65535,请打开终端窗口,输入以下命令:

sudo vim /etc/security/limits.conf* soft nofile 65535* hard nofile 65535sudo sysctl -p

③ 虚拟内存区域数量不符合要求,请打开终端窗口,输入以下命令:

sudo sysctl -w vm.max_map_count=2000000

④ 机器时钟一致

各节点之间的时差默认需要小于5秒。

2. Manager部署

① 创建一个Manager目录

mkdir managercd manager

② 上传准备的Manager和SelectDB包

③ 解压Manager包

tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz

Manager安装目录说明。

deps // Doris Manager 管控依赖组件       alertmanager // 告警工具       grafana // 监控看板工具       jdk // jdk依赖包       prometheus // 监控指标存储工具dorisctrl // Doris Manager 管控组件       bin  // 启停脚本       conf // 配置文件       lib  // 服务二进制webserver // Doris Manager Web 服务组件,这是网页入口服务,需要手工启动       bin  // 启停脚本       conf  // 配置文件       config-tool  // Doris Manager 服务管理工具       inspection  // 巡检脚本       lib  // 服务二进制       static  // 前端静态文件

④ 配置web服务(可选)

不配置时,默认会将web服务的元数据存放在一个h2内置小数据库。

vim webserver/conf/manager.conf 

manager.conf 如下:

# Doris Manager Web服务组件监听的端口MANAGER_PORT=8004
# 服务依赖的数据库类型: mysql或者h2。默认为h2。DB_TYPE=mysql
# 如果数据库类型为h2,默认的数据存储路径为webserver目录下的data路径,# 用户也可以指定自定义的绝对路径DATA_PATH=
# 如果数据库类型为mysql,配置mysql数据库的访问地址DB_HOST=127.0.0.0
# 配置mysql数据库的访问端口DB_PORT=3306
# 配置mysql数据库的访问用户DB_USER=root
# 配置mysql数据库的访问用户密码DB_PASS=root
# 配置mysql数据库的访问Database名称,需要提前创建DB_DBNAME=manager

⑤ 启动web服务

sh ./webserver/bin/start.sh 

由于本次是用Mysql作为Manager元数据库,当服务正常启动后、对应的DB下也会自动初始化相关表。

同时会起相应的进程doris-manager.jar。

⑥ 访问web服务 

直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口},比如http://127.0.0.0:8004

⑦ 初始化Manager管理员账号密码

⑧ 配置服务组件部署信息 

根据自己环境填写,如果暂时用不到监控告警模块可以选择[关闭];填写后点击【启动Doris Manager】。当前没有开启监控告警服务,后续可以重新打开。

⑨ 部署服务组件 

点击【启动Doris Manager】后 ,提示正在启动 Doris Manager。

启动成功后,提示用户进入 Doris Manager,即Managerbu部署完成 :

3. 新集群部署

① 新建集群

填写自定义的集群名称、选择部署版本(会根据填写的包路径自动识别)以及数据库root用户密码后,点击【下一步】。

② 节点配置

根据集群节点信息填写后点击【部署集群】即可。

③ 开始部署 

部署成功后,提示用户进入集群: 

进入集群,如下所示,即新集群部署完成:

4. 监控告警

由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口,如下可重新开启监控告警

(1)监控 

Manager 监控模块集成了丰富的监控指标,相较于自己搭建Prometheus和Grafana去做监控指标可视化,大开方便之门。

(2)告警 

Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知,不会让你错过任何一条异常告警信息,非常贴心。

至此,集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。

集群升级

1. 新包准备

准备好新版本的包与之前的包放在同一级目录下。

2. 一键升级

Manager中选择【集群升级】。

选择目标版本,这里用的是SelectDB 2.0.3 rc04作为升级的目标版本,之后直接点点即可。

3. 升级验收

点击右上角可查看当前的版本,核验无误【立即验收】。

集群扩所容

1. 一键扩容

以BE为例,选择【BE扩容】。

可以单独扩容一个节点、也可以选择【批量添加节点】,之后直接点点即可。

扩容结果查看。

2. 一键缩容

以刚刚扩容的BE为例,选择【BE缩容】。

确定需要下线缩容的BE节点【选择下线】,之后直接点点即可。

缩容结果查看。

多集群管理

Manager支持同时管理多套集群。在已有一套集群的情况下,可以继续新建集群或者接管现有集群。本次以接管集群为例,接管现有的Doris 2.0.2集群。

1. 新建/接管集群

2. 环境配置

自定义集群名称,选择【接管现有集群】。

3. 节点配置

填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后,Manager会自动识别待接管集群的FE和BE节点信息。 

之后直接点【接管集群】即可自动接管完成。

总结

一个字总结:丝滑!
两个字总结:
极致丝滑!!

至此,【Apache Doris】Manager 极致丝滑地运维管理 分享结束,查阅过程中若遇到问题欢迎留言交流。

往期推荐

大数据平台开发规范示例

Kafka TO Doris 保姆级入门详解

【Apache Doris】审计日志插件 | 快速体验

Apache Doris 资源隔离详解

Apache Doris IP变更问题详解

ChatGPT快速入门

如何正确地使用ChatGPT(角色扮演+提示工程)

AIGC快速入门体验之虚拟对象

超强满血不收费的AI绘图教程来了(在线Stable Diffusion一键即用)

大数据技能圈
分享大数据前沿技术,实战代码,详细文档
 最新文章