排查伺服器異常流量教學詳解

2022-08-16 18:05:19

引言

這篇文章將介紹當WEB伺服器報警，提示磁碟使用率問題和頻寬滿載時的一些排查思路和解決方案。

首先，我們一定要設定伺服器的雲監控，如果是雲廠商的伺服器都有監控服務，開通即可。

如果是自建機房，監控報警策略也是必須搭建的。

磁碟使用率報警

原因分析

紀錄檔沒有及時遷移或清理
程式異常輸出了大量的垃圾檔案
掛載的硬碟儲存空間不足，不適應業務發展，需要掛載新的磁碟。

解決方案

1. 紀錄檔遷移或清理

我們需要Nginx紀錄檔和專案執行中的關鍵紀錄檔，方便定位問題、資料分析。

紀錄檔遷移的思路很簡單，目前主流的雲廠商都支援紀錄檔遷移和儲存服務，且成本不高。

如果是自建的服務，可以掛載專門的儲存硬碟，不和業務伺服器耦合在一起，將紀錄檔進行單獨儲存。

2. 紀錄檔清理

cd /

查詢到大檔案，比如找到大於100M的檔案

find . size +100M

沒用的紀錄檔大檔案置為空(不要直接刪除，正在被使用的檔案是無法直接刪除的)

cat /dev/null &gt; /data/logs/php-fpm/error.log

網站流量異常，一直在報警

當網站流量報警時喜憂參半，如果是因為搞活動或者網站內容命中了熱點，被搜尋引擎推薦，那真是像買彩票中獎一樣高興。

不過，大多數情況，網站在毫無預兆的情況下突然打滿頻寬，大概率是被惡意攻擊了。

下面介紹一下我的排查思路

首先我登入了網站的統計服務平臺，發現PV/UV等關鍵資料並沒有太大變化，但是伺服器的頻寬卻被打滿了，說明異常流量不是通過刷網站頁面導致的，可能是通過刷介面導致的。

通過分析紀錄檔排查異常流量

cd /data/logs/nginx

檢視存取最頻繁的前10個IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 10

分析結果：

發現存取量最高的ip是自身伺服器的外網ip
發現有一組美國谷歌雲的異常存取
發現有一個北京xx網的異常存取
其他基本是正常流量

解決異常流量

公網ip存取量最大：

這是一個N年前的老專案，開發時是有一些知識盲點的，沒有考慮到內網傳輸要比外網傳輸的速度快很多。

通過下面的方式替換了外網傳輸為內網傳輸：

專案中的外網ip替換為內網ip（發現專案程式碼並沒有直接存取外網ip，而是存取了子專案的域名）
設定Linux伺服器的host

# 開啟Linux的hosts組態檔
vim /etc/hosts
# 將專案中請求的多個域名解析到原生的ip地址
127.0.0.1 多個域名用空格分隔

優化完內網傳輸之後，就開始最重要的事情了：

封禁惡意ip

建立（開啟）黑名單組態檔

 vim /etc/nginx/blackip.conf

將black.conf新增到nginx.conf中 (程式碼段中的...代表省略的內容)

http{
.
.
.
    #ip黑名單
    include /etc/nginx/blackip.conf;
.
.
.
}

新增要封禁的黑名單

#遮蔽單個ip存取
deny IP; 
#允許單個ip存取
allow IP; 
#遮蔽所有ip存取
deny all; 
#允許所有ip存取
allow all; 
#遮蔽整個段：從127.0.0.1到127.255.255.254
deny 127.0.0.0/8;
#遮蔽IP段：從127.45.0.1到127.45.255.254
deny 127.45.0.0/16;
#遮蔽IP段：從127.45.6.1到127.45.6.254
deny 127.45.6.0/24;

重啟Nginx服務

nginx -s reload

停掉不用的服務

在查詢Nginx的log時，發現一些不再用的服務仍然有請求紀錄檔。

果斷停掉這些服務。

統計存取最多的url 前10名

cat access.log |awk '{print $7}'| sort|uniq -c| sort -rn| head -10 | more

封禁了不再使用url

小程式介面封禁
網站快報相關的介面封禁

優化結果

在進行上述操作後，收到了伺服器報警恢復正常的簡訊通知。

今天早晨登入伺服器監控後臺，發現效果是灰常明顯的：

紅線左側是處理異常流量前的頻寬波動圖，右側是處理後的波動圖，淺色波動線是昨天的流量情況。

總結

這是7年前剛入行時做的專案，單機部署，排查思路比較簡單清晰：查紀錄檔，封ip。

在微服務+分散式成為主流的今天，又要用哪些思路和工具排查問題呢？

以上就是排查伺服器異常流量教學詳解的詳細內容，更多關於排查伺服器異常流量的資料請關注it145.com其它相關文章！