喜聞樂見ELK(紀錄檔管理分析系統)
# 1. 簡介
ELK（紀錄檔管理分析系統），一款能將系統的紀錄檔進行分析處理，並且展示到介面上面。集各種強大功能於一身。媽媽再也不用擔心我為查紀錄檔感到煩惱了。 ELK核心的元件是由elasticsearch、kibana、logstash組成且不僅限於該三個元件。最舒服的就是，該三個元件開源，且封裝ok，只需要開箱即用。好了，廢話不多說，我們開始正片。
第一次寫部落格哈。有些不對的地方大家多多指出，希望能不吝賜教了哈。
# 2. 需要的材料以及環境
java8及以上版本（因為logstash最低版本要求為java8）
win10/centos7系統（以下設定基於win10）
elasticsearch、kibana、logstash（記住，這三個元件下載的時候 版本保持一致）
elasticsearch-head（一款瀏覽器外掛，可以不使用，如果不使用可以忽略以下材料）
nodejs
# 3. 安裝以及設定
當我們下載好以上三個元件過後，首先解壓我們的三個壓縮包
第一步，設定我們的elasticsearch，進入elasticsearch-7.9.3\config用自己喜愛的文字編輯器開啟elasticsearch.yml檔案
node.name: node-1
network.host: 本機ip
http.port: 9200
cluster.initial_master_nodes: ["node-1"] #node-1
--------------------------------------------------------以下設定主要解決後面logstash的跨域問題----------------------------------------------
http.cors.enabled: true
http.cors.allow-origin: /.*/
http.cors.allow-methods: "OPTIONS, HEAD, GET, POST, PUT, DELETE"
http.cors.allow-headers: "Authorization, X-Requested-With, Content-Type, Content-Length, X-User"
好了，到這裡我們的elasticsearch就已經設定完成，讓我們執行下，看看效果。
cd D:\ELK\elasticsearch-7.9.3\bin 然後 elasticsearch.bat
或者直接進入bin目錄，雙擊elasticsearch.bat，然後在瀏覽器中輸入：ip:9200,出現以下資訊則說明已經es設定成功
第二步，設定我們的logstash，進入logstash-7.9.3\config用自己喜愛的文字編輯器建立一個新的logstash.config檔案，是新的新的新的，裡面的內容如下：
input {
file {
type => "nginx_access"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access.log" #需要解析的紀錄檔，換成你自己的路徑
start_position => "beginning" #從檔案開始處讀寫
}
file {
type => "nginx_access1"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access1.log" #需要解析的紀錄檔，換成你自己的路徑
start_position => "beginning" #從檔案開始處讀寫
}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:times}"]
}
date {
match => ["times", "yyyy-MM-dd HH:mm:ss,SSS"]
locale => "en"
timezone => "+00:00"
remove_field => "times"
target => "@timestamp"
}
if[type] == "nginx_access" {
mutate {
add_tag => ["nginx_access"] #設定tag
}
}
if [type] == "nginx_access1" {
mutate {
add_tag => ["nginx_access1"] #設定tag
}
}
}
output {
if "nginx_access" in [tags] { #根據上面的tag來判斷輸出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "access-%{+YYYY.MM.dd}" # 輸出的紀錄檔名稱，好像大寫有問題，大家可以試試
}
}
if "nginx_access1" in [tags] { #根據上面的tag來判斷輸出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "logaccess1-%{+YYYY.MM.dd}" # 輸出的紀錄檔名稱，好像大寫有問題，大家可以試試
}
}
stdout { #標準輸出
codec => rubydebug{}
}
}
好了，到這裡我們的logstash就已經設定完成，讓我們執行下，看看效果。
cd D:\ELK\logstash-7.9.3\bin 然後 logstash.bat -f ../config/logstash.config 。或者大家可以自己把啟動語句用一個bat指令碼封裝起來，到時候只需要執行你那個封裝的指令碼即可。在控制檯出現以下效果，證明啟動成功。切記需要java8以上的java版本。
那如果我們很多生產環境已經用的java8以下的版本該怎麼辦呢？用我們記事本開啟logstash的bin目錄下的logstash.bat，linux系統開啟logstash檔案，在檔案頂部加上
export JAVA_CMD="/eam_app/elk/jdk1.8.0_161/bin" #改為自己伺服器JDK位置
export JAVA_HOME="/eam_app/elk/jdk1.8.0_161/" #改為自己伺服器JDK位置
最後讓我們來修改下我們的監聽的紀錄檔檔案，看下logstash控制檯有何變化？
敲黑板敲黑板，這裡有個小坑，如果我們最後一行不留空，那麼最後一行的資訊是不會輸入到我們的logstash裡面的。為什麼會這樣的， 留個小夥伴們一個小疑問，自己去想想。
第三步，設定我們的kibana，進入kibana-7.9.3\config用自己喜愛的文字編輯器開啟kibana.yml檔案,
server.port: 5601 #埠
server.host: IP地址
elasticsearch.hosts: ["http://es的ip地址:9200"]
儲存，至此我們的kibana就設定完成了，是不是很簡單，哦呵呵呵！！！！
趕緊執行起來，老規矩：
cd D:\ELK\kibana-7.9.3-windows-x86_64\bin 然後 kibana.bat 或者自己手動雙擊kibana.bat，最後在我們的瀏覽器中輸入kibana.yml中的server.host:server.port
點選上面的
進行以下操作
最後我們點選介面左上角
會出現以下介面，這是個時候我們的紀錄檔就已經展示出來了，如下圖：
至此為止我們的windows環境EKL紀錄檔監控分析系統就已經搭建完成
# 4. 總結
個人覺得ELK還是比較好用的，擺脫我們去伺服器拉紀錄檔查紀錄檔的苦惱，當然可能小夥伴有其他更好的方式，我這裡只是列舉了一個例子，希望能拋磚引玉了哈。感謝各位大大的閱讀支援！！！
碼字不易，如需轉載請標明轉處。