喬叔的 Elastic Stack 專業教育訓練
  • 喬叔的 Elastic Stack 專業教育訓練
  • 🧑關於喬叔 (Joe Wu)
  • Elastic 課程公開班
    • 🎯Elasticsearch 基礎實務班
      • 💯學員課後回饋
    • 🆕Elasticsearch 進階運維班
      • 💯學員課後回饋
    • Elasticsearch 進階開發班
    • Elastic Stack 基礎實務班
    • Elastic Observability 基礎實務班
    • 📩課程許願池
  • 技術分享
    • 📗喬叔帶你上手 Elastic Stack
      • 前言
      • Elastic Cloud 如何建立 Deployment
        • ES Node 的種類
        • 配置的選擇
      • Index 建立前你該知道的
        • ES Index 如何被建立
        • ES 的超前佈署 - Dynamic Mapping
        • ES 的超前佈署 - Index Template
        • ES Index 的別名 (Alias)
        • 管理你的 Index - Kibana Index
      • 管理 Index 的 Best Practices
        • Shard 的數量與 Rollover & Shrink API
        • 三溫暖架構 - Hot Warm Cold Architecture
        • Index Lifecycle Management (ILM)
        • Rollup
        • Transform
        • Snapshot Lifecycle Management (SLM)
        • 總結
      • Elastic Cloud 比免費版還多的功能
        • Elastic Stack 的方案比較與銷售方式
        • Centralized Beats Management
        • Centralized Pipeline Management
        • Watcher
        • Elasticsearch Token Service
        • Multi-stack monitoring & Automatic stack issue alerts
      • 向 App Search 學習怎麼用 Elasticsearch
        • 揭開 App Search 的面紗
        • Engine 的 Index Settings 篇
        • Engine 的 Mapping 篇
        • Engine 的 Search 基礎剖析篇
        • Engine 的 Search 進階剖析篇
      • Elasticsearch 的優化技巧
        • Indexing 索引效能優化
        • Searching 搜尋效能優化
        • Index 的儲存空間最佳化
        • Shard 的最佳化管理
      • 完賽心得
    • 📘喬叔帶你上手 Elastic Stack - 探索與實踐 Observability 系列
      • 前言 & 淺談 Observability
      • Elastic 的 Observability 解決方案
      • Uptime - 掌握系統的生命徵象
        • 我們要觀測的生命徵象是什麼?
        • 使用 Heartbeat 收集系統生命徵象數據
        • 透過 Kibana 觀看心電圖及設定警報
        • 使用合成監控 (Synthetics Monitor) 從使用者情境驗證服務的運作狀態
      • Metrics - 觀察系統的健康指標
        • Metrics 與 Metricbeat 的基本介紹
        • 使用 Metricbeat 掌握 Elastic Stack 的健康狀態
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 Host 篇
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 Docker 篇
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 Kubernetes 篇
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 AWS 篇
      • Logs - 挖掘系統內部發生的狀況
        • Logs 與 Filebeat 的基本介紹
        • 使用 Filebeat 應該要了解的設計細節與原理
        • 透過 Filebeat 收集 Elastic Stack 中各種服務的細節資訊
        • 透過 Filebeat 收集 Infrastructure 中各種服務的細節資訊
      • Traces - 觀察應用程式的效能瓶頸
        • Elastic APM 基本介紹
        • 使用 APM-Integratoin-Testing 建立 Elastic APM 的模擬環境
        • 如何在 Kibana 使用 APM UI
        • 使用 APM Server 來收集 APM 數據
        • 透過 APM Agents 收集並傳送後端服務運作的記錄
        • 透過真實使用者監控 (RUM, Real User Monitoring) 來改善使用者體驗
      • 建立結構化的 Log
        • Elastic Common Schema 結構化 Log 的規範
        • Elasticsearch Ingest Pipeline 資料 Index 前的轉換好幫手
          • 基本介紹
          • 各種常用的 Processor
          • Enrich 資料與例外處理
      • 有效的使用 Observability 的資料
        • 透過 Machine Learning 發現異常的問題
        • 使用 Kibana Alerts 主動通知異常狀況
        • 資料的生命週期管理
        • 使用 Elastic Observability 追縱及觀察問題的心得
      • 完賽心得
    • 😀Elasticsearch 技術分享小品
      • 🤖Elastic 與 AI
        • Elasticsearch Inference API 讓我們直接在 ES 裡運用 OpenAI Completion API
    • 🎥線上分享
      • 喬叔 Elasticsearch Index 管理與效能優化技巧
      • Elastic Certification 認證經驗分享
    • 🛠️workshop
      • 如何在 Elasticsearch 實現敏捷的資料建模與管理 @ DevOpsDays 2023
        • 工作坊實作內容
      • Elastic Observability 實作體驗坊 @ DevOpsDays 2022
        • 行前準備
        • 工作坊實作內容
      • 當 Elasticsearch 搜尋引擎遇上 AI @ HelloWordDevConference 2024
        • 投影片
        • Elasticsearch 環境準備
        • Google Colab 環境準備
        • 工作坊操作說明
        • ElasticSearch Relevance Engine (ESRE)
    • ⬆️Elastic Stack 版本升級記錄
      • 🔍Elasticsearch
  • 其他專業服務
    • 👩‍🎓企業包班 | 企業內訓
    • 👨‍💼顧問服務
    • 🈺專案合作
    • 🧩Elastic 授權代理
  • 相關連結
    • Facebook 粉絲頁
Powered by GitBook
On this page
  • 前言
  • 進入此章節的先備知識
  • 此章節的重點學習
  • Centralized Beats Management 的介紹
  • 如何在 Kibana 上設定 Beats Central Management
  • Enroll Beat
  • Enrolled Beats
  • Run Enrolled Beats
  • Configuration Tags
  • 參考資料
  1. 技術分享
  2. 喬叔帶你上手 Elastic Stack
  3. Elastic Cloud 比免費版還多的功能

Centralized Beats Management

前言

在使用 Elastic Cloud 的 SaaS 服務時,Centralized Beats Management 這個功能是在 Standard 的版本上即可使用,不像是自己架設的版本,要買到 Gold License 才能使用,這篇文章主要介紹 Centralized Beats Management 的功能如何使用、以及介紹他在協助管理 Beats 上的便利性。

請特別注意, Centralized Beats Management 是在 Elastic Stack 6.5 時推出的 Beta 版本的功能,目前已在官方文章上明確註明已 暫停開發 ,達來會有其他更全面的解決方案來取代這個功能,所以使用上請留意。

進入此章節的先備知識

  • 知道什麼是 Elastic Stack 中的 Beats。

  • 使用過 Filebeat 和 Metricbeat。

此章節的重點學習

  • 如使在 Elastic Cloud 中的 Kibana 使用 Centralized Beats Management。


Centralized Beats Management 的介紹

顧名思意,Centralized Beats Management 的目的就是能使用一個集中化的管理介面,讓我們能輕鬆的管理安裝在各機器上的 Beats,特別是改變一些組態設定時,能直接套用到各 Beats 身上。

這個功能是 Elastic Stack 6.5 時推出的 Beta 版本功能,並且是在 Elastic Gold License 的級別以上、或是 Elastic Cloud service 的 Standard License 版本才能使用。

目前有支援的 Beats 只有以下兩種:

  • Filebeat

  • Metricbeat

以下是 Centralized Beats Management 的架構圖:

如何在 Kibana 上設定 Beats Central Management

Enroll Beat

在 Kibana 上要設定 Beats Central Management時,依照下圖的路線進入這個功能,並點選 Enroll Beat。

進入 Enroll Beat 畫面時,會讓你選擇要 Enroll 的是 Filebeat 還是 Metricbeat,並且選擇 Platform 的類型。

選擇完成後,會產生出 enroll 的 script,從這個 script 可以看到主要是將這個 beat 註冊到我們這個 Elastic Cloud 的路徑上,並且包含了 credential 的資訊,讓這個 client 可以透過這 credential 與 Central Management 互相溝通。

接下來到已安裝好 Filebeat 或 Metricbeat 的機器上,執行 enroll 的 command。

執行完成後,當 Filebeat 或 Metricbeat client 向 server 註冊完成後,畫面會自動帶出已註冊的這台 client。

接下來可以進行 tag 的設定,這邊的 tag 可以綁定一種組態設定,而之後可以使用 tag 的方式來套用到各機器上,以便快速的套用不同的組態設定到各機器。

我們可以幫這個 tag 去定義要給他的 configuration ,也就是針對 Filebeat 或是 Metricbeat 的 config 以及 module 的設定。

這樣就是一個基本 Enroll 的執行過程。

Enrolled Beats

回到 Enrolled Beats 的畫面後,可以看到每個已註冊進來的 Beats,並且他們各自的 tag 狀態,這時看到的 Config Status 還是 Offline

Run Enrolled Beats

接著我們到各 Filebeat 或是 Metricbeat 的機器上,讓他們執行起來

./filebeat run

或是

./metricbeat run

回到 Enrolled Beats 的 Config Status 來查看,會發現他們都執行起來了。

我們這時可以動態調整每個 beat 他們的 Tags,來調整他們的組態設定。

Configuration Tags

每個 Tag 的配置方式,可依照佈署環境的狀態來定義想要的 組態模組化 的切割方式,例如:

  • web-server: 要安裝 Filebeat apache module 來收集 apache log。

  • db-server: 要安裝 Metricbeat mysql module 來收集 mysql 的 metrics、也要安裝 system module 來收集主機的 system metrics、也要安裝 Filebeat mysql module 來收集 mysql 的 logs。

  • proxy-server: 要安裝 Filebeat 並且使用自定義的 Paths 到指定的路徑去收集 logs。

  • elasticsearch-output: 要有一組 output 到 elasticsearch 的設定。

這時每次有安裝某個 beats 時,可以依照該機器的角色,來分配給他合適的 tags。

如此就能簡單的從 Kibana 做到 Beats 的組態集中化的管理。

參考資料

PreviousElastic Stack 的方案比較與銷售方式NextCentralized Pipeline Management

Last updated 2 years ago

img
beats central management
enroll beats - 1
enroll clients
enroll beat result
create tag
create tag - add config
image-20201002185555879
image-20201002190053520
running enrolled beats
image-20201002190006222

📗
官方文件 - Beats Central Management
官方 Blog - Introducting Beats Central Management in Elastic Stack