线上操作与线上问题排查实战

一、了解机器连接数情况

创新互联公司云计算的互联网服务提供商,拥有超过13年的服务器租用、服务器托管、云服务器、网页空间、网站系统开发经验，已先后获得国家工业和信息化部颁发的互联网数据中心业务许可证。专业提供云主机、网页空间、国际域名空间、VPS主机、云服务器、香港云服务器、免备案服务器等。

问题：1.2.3.4的sshd的监听端口是22，如何统计1.2.3.4的sshd服务各种连接状态(TIME_WAIT/ CLOSE_WAIT/ ESTABLISHED)的连接数。

参考答案：

 
 
 
 

  
  
  
  
netstat -n | grep 1.2.3.4:22 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
  
  
  
  
netstat -lnpta | grep ssh | egrep “TIME_WAIT | CLOSE_WAIT | ESTABLISHED”
  
  
  
  
n [仅限于阿里云]
 
 
 
 

说明：netstat是追查网络连接问题常用工具，和grep/awk结合更是神器，当然如果在阿里云上，还有更方便的方法。

二、从已经备份好的日志中查询数据

问题：从已备份的suyun.2017-06-26.log.bz2日志中，找出包含关键字1.2.3.4的日志有多少条。

参考答案：

 
 
 
 

  
  
  
  
bzcat suyun.2017-06-26.log.bz2 | grep '1.2.3.4' | wc -l
  
  
  
  
bzgrep '1.2.3.4' suyun.2017-06-26.log.bz2 | wc -l
  
  
  
  
less suyun.2017-06-26.log.bz2 | grep '10.37.9.11' | wc -l
 
 
 
 

说明：线上日志文件一般以bz2 压缩之后保留，如果解压查询，非常耗空间与时间，bzcat和bzgrep是研发同学必须掌握的工具。

三、备份服务的技巧

问题：打包备份/opt/web/suyun_web目录，排除掉目录中的logs和目录，打包好的文件存放在/opt/backup目录下。

参考答案：

 
 
 
 

  
  
  
  
tar -zcvf /opt/backup/shenjian.tar.gz \
  
  
  
  
    -exclude /opt/web/suyun_web/logs \
  
  
  
  
    /opt/web/suyun_web
 
 
 
 

说明：这个命令线上应用较为频繁，在项目需要打包迁移时，常常需要排除掉日志目录，exclude是需要掌握的参数。

四、查询线程数

问题：查询服务器运行服务的总线程数，当机器线程数超报警阀值时，能快速查出相关进程及线程信息。

参考答案：

 
 
 
 

  
  
  
  
ps -eLf | wc -l
  
  
  
  
pstree -p | wc -l
 
 
 
 

五、磁盘报警，清空***文件

问题：找出服务器上，某个正在运行的tomcat产生的大量异常日志，找出该文件，并释放空间。不妨设该文件包含log关键字，并且大于1G。

参考答案：

***步，找到该文件

 
 
 
 

  
  
  
  
find / -type f -name "*log*" | xargs ls -lSh | more 
  
  
  
  
du -a / | sort -rn | grep log | more
  
  
  
  
find / -name '*log*' -size +1000M -exec du -h {} \;
 
 
 
 

第二步，将文件清空

假设找到的文件为a.log

正确的情况方式应该为：echo "">a.log，文件空间会立刻释放。

很多同学：rm -rf a.log，这样文件虽然删除，但是因tomcat服务仍在运行，空间不会立刻释放，需要重启tomcat才能将空间释放。

六、显示文件，过滤注释

问题：显示server.conf 文件，屏蔽掉#号开头的注释行

参考答案：

 
 
 
 

  
  
  
  
sed -n '/^[#]/!p' server.conf
  
  
  
  
sed -e '/^#/d' server.conf
  
  
  
  
grep -v "^#" server.conf
 
 
 
 

七、磁盘IO异常排查

问题：磁盘IO异常如何排查，类似写入慢或当前使用率较高，请查出导致磁盘IO异常高的进程ID。

参考答案：

• ***步：iotop -o 查看当前正在写磁盘操作的所有进程ID信息。
• 第二步：如果此时各项写入指标都很低，基本没有大的写入操作，则需要排查磁盘自身。可以查看系统dmesg或cat /var/log/message 看看是否有相关的磁盘异常报错，同时可以在写入慢的磁盘上touch 一个空文件看看，是否磁盘故障导致无法写入。

【本文为专栏作者“58沈剑”原创稿件，转载请联系原作者】

网站栏目：线上操作与线上问题排查实战
文章起源：http://www.gawzjz.com/qtweb/news25/160975.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联