运维:Linux服务器崩了怎么办,快来看看这份”急救命令指南“吧!

科技   2024-11-08 06:24   江苏  

作为运维工程师来说,最怕遇到服务器崩了、内存爆了、CPU满了等情况,尤其对于生产环境来说影响是非常巨大的。对于运维工程师来说可能面临被“炒鱿鱼”的风险。那么遇到这种情况怎么办呢,首先是要沉着冷静,然后按照下面的Shell命令来排查服务器本身的问题。

通过系统运行状态、安全设备告警,主机异常现象来发现可疑现象通常的可疑现象有:资源占用、异常登录、异常文件、异常连接、异常进程等。

1、SSH登录用户层面排查

通过日志如果发现有异常用户活动,比如:尝试多次登录失败、执行不正常的命令等,那么有可能你的服务器正在被攻击,这个时候应该及时采取限制SSH用户措施,包括禁止用户登录、立即修改用户密码等。

1.  查看 uid 或 gid 为 0 的用户(默认系统只存在root一个特权账户)

grep :0 /etc/passwd


查看 passwd 文件的最后修改记录,确认近期是否有人修改过登录密码

stat /etc/passwd


检查有SSH登录权限的用户

cat /etc/passwd | grep bash



查看用户登录最近10条登录信息

last -n 10 



查看空口令的用户,及时清理或者设置密码

awk -F: 'length($2)==0 {print $1}' /etc/passwd



查看可以远程登录的帐号信息

awk '/\$1|\$6/{print $1}' /etc/shadow



2、历史命令排查

通过历史执行命令,可以确认是否有可疑的执行命令。history 记录位于用户 home 目录下的 .bash_history 文件中,命令如下:

cat ~/.bash_history 


3、网络排查

检查系统上正在监听的网络连接和端口情况,以及用户的网络活动,排查可能存在异常的网络行为。

查看本机开放的端口信息

netstat -antulp 


ss -antulp 


lsof -i



查看当前已建立的 TCP 连接

netstat -antulp | grep ESTABLISHED


查看 DNS 配置信息:

cat /etc/resolv.conf


4、进程排查

Linux 默认的进程权限分离,每个进程有不同的权限,所以从进程用户名上能给我们很多信息。比如 webshell 执行反弹连接,会显示 apache 的用户权限。

查看资源占用

top 


然后使用组合键shift+m 按照内存排序,方便排查问题

查看所有进程

ps -ef


根据进程 PID 查看进程详细信息

lsof -p PID


查看进程的启动时间

ps -p PID -o lstart


查看进程树

pstree


5、  文件排查

通过文件排查确认近期是否有恶意脚本等文件写入服务器。

查找根目录下,修改时间小于2天的文件

find / -mtime -2



查找home目录下修改时间小于1天的sh文件

find /home/ -mtime -1 -name *.sh


6、持久化排查

Linux的持久化方式包括定时任务、开机服务、开机启动、驱动加载。通过该命令确认是否存在异常的开机启动项、定时任务等等。

定时任务排查

列出当前用户的定时任务列表:

crontab -l



开机启动项排查

查看系统服务

查看所有系统服务的状态和启动方式

systemctl list-unit-files --type=service


查看当前正在运行的服务,用来分析是否有不正常的服务运行

systemctl list-units --type=service --all



7、日志文件排查

Linux系统 使用 rsyslog 管理日志,包括系统登录日志、服务访问日志、网站日志、数据库日志等。

日志默认存放位置 /var/log/ 目录,

查看日志配置文件存放目录 vim /etc/rsyslog.conf

常见的日志文件如下:

/var/log/messages:内核及公共消息日志,会记录linux系统的绝大多数重要信息

/var/log/cron:系统定时任务相关的日志

/var/log/dmesg:系统引导日志,系统在开机时内核自检的信息,dmesg命令直接查看

/var/log/boot.log:记录系统在引导过程中发生的,包含系统启动时的日志,包括自启动的服务

/var/log/secure:用户验证相关的安全性事件,如SSH登录,su切换用户,sudo授权等

/var/run/utmp:正在登录系统的用户信息,默认由who和w记录当前登录用户的信息

/var/log/wtmp:当前登录用户详细信息,二进制文件,使用last命令来查看

/var/log/btmp:记录错误登录日志,二进制文件,使用lastb命令查看

/var/log/lastlog:用户最后一次登录时间的日志,二进制文件,使用lastlog命令查看

 /var/log/maillog:邮件系统日志

服务器高频安装服务的默认日志路径:

Nginx日志:

 /var/log/nginx/access.log

Apache日志:

 /var/log/httpd/access.log

 /var/log/apache/ access.log

 /var/log/apache2/ access.log

 /var/log/httpd-access.log

Mysql日志:

 /var/log/mysql/



SSH工具合集软件下载

方式一

软件下载地址


下载说明:点击上面的软件下载地址,然后直接进入下载页面

方式二
软件下载:私信回复【SSH】获取下载地址


结合博主3000多篇电脑技术文章为知识库整理的对话机器人,解决电脑各种各样的问题





小明工作助手新增pdf转word、pdf转图片功能,欢迎免费体验









历史相关



优秀干货作者推荐

  


小编十多年工作经验积累的电脑软件分享给大家




QQ软件技术分享群:821205778【小明软件分享技术交流群】



CSDN:https://blog.csdn.net/xishining


个人博客网站:https://programmerblog.xyz



往期推荐

电脑干货:推荐五款非常好用的效率工具(附下载)

《黑神话:悟空》火爆上线,资源合集下载

《黑神话:悟空》来了:AutoHotkey电脑按键修改神器介绍,游戏玩家必备(附下载)

电脑技巧:从20分钟到几秒:七个方面加速电脑开机启动

七款修复工具介绍:不仅能修复U盘,SD卡、TF卡也能修复!

电脑软件:推荐六款高效实用的PDF阅读器工具(附下载)

BitDock:为Windows桌面带来Mac风格的美化工具(附下载)

电脑软件:本地搜索效率神器Listary使用介绍

电脑干货:推荐八个超级实用的效率软件,值得收藏!

电脑软件:推荐一款支持近百种格式转换软件File Converter(附下载)

电脑知识:显卡的四种接口类型介绍




小明互联网技术分享社区
每天分享一篇有关编程方面的文章,包含数据库、前端、后端、程序人生、幽默等经典文章,欢迎大家关注!
 最新文章