Logs 與 Filebeat 的基本介紹
本篇學習重點
Logs 在 Observability 中的基本介紹
Filebeat 的簡介，以及如何用 Filebeat 來收集 Logs 資料
Observability Logs 的基本介紹
Logs 在 Observability 扮演的角色
Google Cloud Architecture Center - DevOps Guides [1] 對針 Observability 這個詞的定義中，描述到：
Observability is tooling or a technical solution that allows teams to actively debug their system. Observability is based on exploring properties and patterns not defined in advance.
有提到一個重點，就是『非事先定義』，Observability 也就是擁有能夠探索未事先定義的屬性與模式的能力，我們在先前介紹的 Uptime 與 Metrics 的部份，其實都是需要事先定義，就算是 Elastic 已經做好很多預設的 Integration 以及 Dashboard，但也都是先定義好的，如果沒有定義的部份，也就不會被收集到。
而 Observability 當中的 Logs 與 APM，就擁有較多可以觀察到『非事先定義』部份的能力，針對 Logs 的部份，源頭當然還是需要系統、應用程式端、或是服務端，有記錄足夠資訊的日誌，而這些日誌，將會讓我們擁有『當發現系統有異常時，能夠進一步深入挖掘系統內部運作的情況，並且提供分析核心原因及找到解決方案』的能力。
Observability 中的 Logs 提供了什麼樣的能力
即時監控不斷產生的 Logs - Streaming
就好比我們在 *nix 環境中常會針對日誌檔使用的指令 tail -f，能讓我們查看最新不斷產生的日誌內容，Logs 也提供了 Streaming 的功能，在 Kibana > Observability > Logs 當中，我們可以啟用 Stream live 的按鈕，就可以讓我們即時的查看分散在多台主機的系統、服務、應用程式，所最新產生的日誌內容。
在這個 Logs Streaming 的功能之中，由於資訊量很大，所以 Logs 同時也有提供一些能力，能協助我們找到或是關注在我們所需要的資料上：
使用 KQL (Kibana Query Language) 定義篩選的規則
在查詢到指定某一條 log 時，能透過
View in Context的方式來檢視，也就是可以快速的翻查這行 log 的前、後的 logs，這個功能非常的實用。
使用 Machine Learning 來協助分析 Logs
這部份在 Observability 的 Logs 之中，預設在選單上就有列出兩個功能，都是透過 Machine Learning 來協助做到二個類型的處理：
Anomalies 異常
Categories 分類
透過機器學習的方式，能針對指定 Logs 的時間啟始點、針對哪些 Index，建立 Machine Learning 的 Job。
在進入這兩個功能的檢視畫面時，就可以發現 Elastic 已經貼心的幫我們建立好這些基本的學習規則，可以直接查看當下發現的結果。
進一步可以從 Anomaly Explorer 查看異常分析的內容。
甚至可以查看異常判斷的原因。
Filebeat 基本介紹
要使用上述介紹到 Elastic 在 Kibana 提供的 Observability Logs 的這些基本能力之前，我們要先將 Logs 收集到 Elasticsearch 之中，Elastic Stack 中負責收集 Logs 資訊的主要角色，就是 Filebeat，如同先前介紹的 Metricbeat 和 Heartbeat 一樣，Filebeat 也是 Beats 家族中的一員，所以也是從 libbeat 所發展出來，並且是針對檔案類型的 Logs 進行收集的工具。
Filebeat 的主要運作架構
如下圖所示，Filebeat 主要是針對機器上的各種檔案，並且會使命必達的負責將指定的目錄中的檔案有新增的 logs，收集起來並且往後傳遞，可以直接送到 Elasticsearch 或是送到 Logstash 進行 ETL (Etract, Transform, Load) 的處理，又或是送到 Kafka 或 Redis 的 Queue 之中，再透過其他的工具進行後續的處理。
Filebeat 的安裝方式
安裝的方式如同其他 Beats 家族成員相似，以下是使用最簡單的安裝步驟來做介紹，其實與官方的 Quick start 的文件差不多，先大約知道將 Metricbeat 運作起來的流程為何，我將會以 MacOS 為例。
下載，並解壓縮 Filebeat。
在解壓縮目錄下的
filebeat.yml指定 Elasticsearch 的位置
啟動要安裝的模組
Filebeat 提供了非常多內建的模組 (modules)，像是 Elasticsearch、 Apache、Nginx、MySQL、PostgreSQL、Redis、MongoDB...等，詳細可以查看 官方文件 Filebeat Modules [2]。
另外針對啟動的模組，通常都會要調整這些模組的 config 檔，檔案的路徑就在 ./modules.d/ 裡面，檔名就會是 module 的名字，副檔名為 .yml。
安裝 Filebeat 內建的 Kibana Dashboard，以及 Elasticsearch 的 Index Template。
啟動 Filebeat
若是要以 root 執行，要記得把 config 的擁有者也改成 root
接下來就可以到 Kibana 查看 Filebeat 所發送的資料，有沒有成功的進入到 Elasticsearch了。
參考資料
Last updated
