Ctrlk
For the complete documentation index, see llms.txt. This page is also available as Markdown.

透過 Filebeat 收集 Elastic Stack 中各種服務的細節資訊

本篇學習重點

  • 如何使用 Filebeat 收集 Elastic Stack 的各種 Logs

  • 在 Kibana 中，如何查看經由 Filebeats 收集到的 Elastic Stack Logs

在經過前一篇 Filebeat 的運作原理的介紹後，接下來我們要來說明，如何使用 Filebeat 收集我們 Elastic Stack 之中的各種 Logs。

使用 Filebeat 收集 Elastic Stack 的各種 Logs

首先我們針對 Elastic Stack 的 Logs 進行收集，在說明如何配置 Filebeat 之前，我們先解釋一下我們的 Elastic Stack 情境。

Elastic Stack 情境

在這次示範的情境，我們先使用單純的手動下載安裝，這種方式可以讓我們先專注在 Filebeat 相關的設定之中，不較不會受到其他佈署方式的環境影響。

情境中的 Elastic Stack 有以下這些成員：

  • Elasticsearch Node * 2： 都是安裝在本機端，並且分別有各自不同的資料夾路徑

    • /Users/joecwu/Training/elasticsearch-7.14.1-1

    • /Users/joecwu/Training/elasticsearch-7.14.1-2

  • Kibana * 1： 安裝於以下路徑

    • /Users/joecwu/Training/kibana-7.14.1-darwin-x86_64

  • Logstash * 1： 安裝於以下路徑

    • /Users/joecwu/Training/logstash-7.14.1

  • Filebeat * 1： 安裝於以下路徑

    • /Users/joecwu/Training/beats/filebeat-7.14.1-darwin-x86_64

收集 Elasticsearch Logs

設定 Filebeat 的 Elasticsearch Module

收集 Elasticsearch Logs 時，我們會使用到 Filebeat modules 裡的 Elasticsearch module，因此我們先啟用 Module：

啟用 module 之後，我們到 ./modules.d/ 目錄底下，修改 elasticsearch.yml 的設定檔：

這邊可以看到，主要有以下五種 Elasticsearch 會寫的 Logs 需要收集：

  • server

  • gc

  • audit

  • slowlog

  • deprecation

因為是專門針對 Elasticsearch 所提供的 module，所以其實在 module 之中，就已經為這些檔案的格式進行解析了，像是 Elasticsearch server log 在遇到有 error 時，stack trace 是有 multi-line 的格式，又或是要將這些 Logs 內容給結構化，整理成 Elastic Common Schema，讓後續查詢及分析能更容易使用，這些都直接在 Elasticsearch module 會直接進行處理。

小提醒 1： 因為在這些 Logs 檔的資訊當中，沒有足夠的 Timezone 的資訊，所以 Filebeat 預設會以主機本機端的 Timezone 來當作處理的依據，所以如果要收集的檔案，他產生時寫入的時區，與運作 Filebeat 的主機的時區是不同的話，可以透過 event.timezone 欄位，來修改成想要要指定的時區，這部份就會可以透過 processors 來進行操作。

小提醒 2： 由於我的情境中，是直接使用一台主機安裝兩個 Elasticsearch Nodes，但一般 production 環境中，比較不會這樣安裝，所以配置上應該較少會直接針對二組 Elasticsearch 的路徑來進行設定，最好是透過組態管理的工具，或是容器化的佈署方式，會讓這配置檔+路徑更好管理。

收集 Kibana Logs

啟用 Kibana Logs

Kibana 的 Logs 有兩種：

  1. Kibana 的 Server Log

要收集 Kibana server logs 時，需特別注意到一件事，Kibana 預設不會將 logs 寫到檔案，會是直接在啟動時將 logs 輸出到 stdout，因此我們會先需要在 Kibana 的設定檔 ./config/kibana.yml 當中，指定 logs 輸出到檔案：

小提醒 1：Kibana 的 log 輸出並沒有支援 log rotate ，所以應該要使用外部的 log rotate 的機制，避免讓 log 檔案無限的長大，吃光硬碟空間。

小提醒 2：Kibana 的 log 其實真的很少會用到，要不要記錄下來並且傳送到 Elasticsearch 可以依照大家自己的 Log 管理規範來拿捏，如果 Kibana 平常只是公司內部運維人員自己使用，或許不一定要寫，但如果是有開放給各單位使用，甚至是外部的使用者，這部份就會建議最好還是記錄下來，至於想保留短一點的時間，可以在進入 Elasticsearch 之後再依需要進行 Log 生命週期的管理。

  1. Kibana 的 Security Audit Log

如果你的 Elasticsearch 是有開啟 Security 的功能時，Kibana 的 xpack.security.enabled 會自動啟用，所以這部份不用特別的調整，不過 Security 相關的 Audit logs 預設不會記錄在檔案之中，這些 Audit logs 就是屬於 Kibana 當中的一些與安全性相關的日誌，例如使用者的登入、哪些人存取哪些資源…等，我們首先要先啟用 Audit logs：

接下來指定 Audit logs appender 的配置設定，這邊是有支援 log rotate的：

在上面的配置，我分別把 Kibana 的 Server Log 產生到 ./logs/kibana.log 這個檔案，另外把 Audit logs 產生到 ./logs/audit.log 並且有指定 log rotate。

相關的 Kibana Audit log 的設定可以參考 官方文件 - Kibana Audit Logging Settings [1]。

設定 Filebeat 的 Kibana Module

有了 Kibana logs 之後，我們要使用到 Filebeat modules 裡的 Kibana module，使用以下指令啟用 Module：

啟用 module 之後，我們到 ./modules.d/ 目錄底下，修改 kibana.yml 的設定檔：

這邊就分別針對前面所產生的 Kibana server logs 以及 Audit logs 的路徑進行設定。

收集 Logstash Logs

設定 Filebeat 的 Logstash Module

收集 Elasticsearch Logs 時，我們會使用到 Filebeat modules 裡的 Logstash module，因此我們先啟用 Module：

啟用 module 之後，我們到 ./modules.d/ 目錄底下，修改 logstash.yml 的設定檔：

由於 Logstash 運作起來之後，預設會將 Logs 產生到解壓縮目錄下的 ./logs/ 裡頭，並且會產生 logstash-plain.log 以及 logstash-slowlog-plain.log 兩種 logs 檔，因此我們同在 module 的設定檔中，設定好這兩種 logs 檔的位置即可。

收集 Filebeat Logs ?

因為我們主要是透過 Filebeat 來收進檔案類型的 Logs，因此如果透過 Filebeat 本身自己收集自己所寫的 Logs，其實會有點奇怪，也就是如果 Filebeat 自己發生狀況時，他的 Error Logs 可能就沒辦法被收集並往 Elasticsearch 傳送，因此如果要收集 Filebeat 的 logs 時，建議也應該透過另外的 Filebeat 來進行收集。

另外 Filebeat 本身的 modules 之中，也沒有提供 beats 的 module，這部份的一種做法，是直接將 beats 的 Logs 透過 stderr 寫到 journald ，並且再透過 Beats 家族中的 Journalbeat 進行收集。[2]

當然如果真的要寫成檔案，還是可以透過以下的方式，在 filebeat.yml 中進行設置：

在 Kibana 中，如何查看經由 Filebeats 收集到的 Elastic Stack Logs

Observability 的 Logs

首先就是可以使用這一系列文章，前面的 13 - Logs - 挖掘系統內部發生的狀況 (1) - Logs 與 Filebeat 的基本介紹 所介紹到的 Observability Logs 的使用方式，來進行檢視我們所收集進入 Elasticsearch 裡的 Logs。

image-20210930234212131

Kibana Stack Monitoring

再來是進入到 Kibana 專門針對 Elastic Stack 所建立的 Stack Monitoring。

這裡面會帶出最近的 Elasticsearch 的 Logs ，進一步的選擇之後，也能自動帶入到 Observability Logs 的畫面之中，並且會自動帶入篩選的條件。

15-kibana-stack-monitoring

Kibana Dashboards - Logstash

再來就是 Kibana 所建立好的各種 Dashbards，其中有針對經由 Filebeat 所收集的 Logstash 資訊，建立好兩種 Dashboard。

image-20210930232324210

這邊以其中一種 Logstash Logs ECS 為例：

image-20210930232134528

Elastic Security

最後是 Kibana 的 Audit Logs 在 Elastic Security 的 Solution 之中，也有針對這些安全性的資訊，建立好一些檢視的工具，針對 Kibana Hosts 相關的 Audit Logs，也能在 Hosts 當中查看安全性分析的一些結果，進而可以再追縱到原始的 Logs。

15-Kibana-Security-Hosts

其他注意事項

Filebeat 在 7.15 版的時候，使用的依然是舊版的 Elasticsearch Index Template，也就是 _template 這個 endpoint，不是新版的 _index_template，有時我們要使用收集到的資料時，會要參考特定欄位的 Mapping 的設定，這時如果要查閱 Filebeat 所建立的 Index Template，記得要從 _template 這邊來查詢。

參考資訊

  1. 官方文件 - Kibana Audit Logging Settings

  2. 官方文件 - Journalbeat

Previous使用 Filebeat 應該要了解的設計細節與原理Next透過 Filebeat 收集 Infrastructure 中各種服務的細節資訊

Last updated