喬叔的 Elastic Stack 專業教育訓練
  • 喬叔的 Elastic Stack 專業教育訓練
  • 🧑關於喬叔 (Joe Wu)
  • Elastic 課程公開班
    • 🎯Elasticsearch 基礎實務班
      • 💯學員課後回饋
    • 🆕Elasticsearch 進階運維班
      • 💯學員課後回饋
    • Elasticsearch 進階開發班
    • Elastic Stack 基礎實務班
    • Elastic Observability 基礎實務班
    • 📩課程許願池
  • 技術分享
    • 📗喬叔帶你上手 Elastic Stack
      • 前言
      • Elastic Cloud 如何建立 Deployment
        • ES Node 的種類
        • 配置的選擇
      • Index 建立前你該知道的
        • ES Index 如何被建立
        • ES 的超前佈署 - Dynamic Mapping
        • ES 的超前佈署 - Index Template
        • ES Index 的別名 (Alias)
        • 管理你的 Index - Kibana Index
      • 管理 Index 的 Best Practices
        • Shard 的數量與 Rollover & Shrink API
        • 三溫暖架構 - Hot Warm Cold Architecture
        • Index Lifecycle Management (ILM)
        • Rollup
        • Transform
        • Snapshot Lifecycle Management (SLM)
        • 總結
      • Elastic Cloud 比免費版還多的功能
        • Elastic Stack 的方案比較與銷售方式
        • Centralized Beats Management
        • Centralized Pipeline Management
        • Watcher
        • Elasticsearch Token Service
        • Multi-stack monitoring & Automatic stack issue alerts
      • 向 App Search 學習怎麼用 Elasticsearch
        • 揭開 App Search 的面紗
        • Engine 的 Index Settings 篇
        • Engine 的 Mapping 篇
        • Engine 的 Search 基礎剖析篇
        • Engine 的 Search 進階剖析篇
      • Elasticsearch 的優化技巧
        • Indexing 索引效能優化
        • Searching 搜尋效能優化
        • Index 的儲存空間最佳化
        • Shard 的最佳化管理
      • 完賽心得
    • 📘喬叔帶你上手 Elastic Stack - 探索與實踐 Observability 系列
      • 前言 & 淺談 Observability
      • Elastic 的 Observability 解決方案
      • Uptime - 掌握系統的生命徵象
        • 我們要觀測的生命徵象是什麼?
        • 使用 Heartbeat 收集系統生命徵象數據
        • 透過 Kibana 觀看心電圖及設定警報
        • 使用合成監控 (Synthetics Monitor) 從使用者情境驗證服務的運作狀態
      • Metrics - 觀察系統的健康指標
        • Metrics 與 Metricbeat 的基本介紹
        • 使用 Metricbeat 掌握 Elastic Stack 的健康狀態
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 Host 篇
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 Docker 篇
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 Kubernetes 篇
        • 使用 Metricbeat 掌握 Infrastructure 的健康狀態 AWS 篇
      • Logs - 挖掘系統內部發生的狀況
        • Logs 與 Filebeat 的基本介紹
        • 使用 Filebeat 應該要了解的設計細節與原理
        • 透過 Filebeat 收集 Elastic Stack 中各種服務的細節資訊
        • 透過 Filebeat 收集 Infrastructure 中各種服務的細節資訊
      • Traces - 觀察應用程式的效能瓶頸
        • Elastic APM 基本介紹
        • 使用 APM-Integratoin-Testing 建立 Elastic APM 的模擬環境
        • 如何在 Kibana 使用 APM UI
        • 使用 APM Server 來收集 APM 數據
        • 透過 APM Agents 收集並傳送後端服務運作的記錄
        • 透過真實使用者監控 (RUM, Real User Monitoring) 來改善使用者體驗
      • 建立結構化的 Log
        • Elastic Common Schema 結構化 Log 的規範
        • Elasticsearch Ingest Pipeline 資料 Index 前的轉換好幫手
          • 基本介紹
          • 各種常用的 Processor
          • Enrich 資料與例外處理
      • 有效的使用 Observability 的資料
        • 透過 Machine Learning 發現異常的問題
        • 使用 Kibana Alerts 主動通知異常狀況
        • 資料的生命週期管理
        • 使用 Elastic Observability 追縱及觀察問題的心得
      • 完賽心得
    • 😀Elasticsearch 技術分享小品
      • 🤖Elastic 與 AI
        • Elasticsearch Inference API 讓我們直接在 ES 裡運用 OpenAI Completion API
    • 🎥線上分享
      • 喬叔 Elasticsearch Index 管理與效能優化技巧
      • Elastic Certification 認證經驗分享
    • 🛠️workshop
      • 如何在 Elasticsearch 實現敏捷的資料建模與管理 @ DevOpsDays 2023
        • 工作坊實作內容
      • Elastic Observability 實作體驗坊 @ DevOpsDays 2022
        • 行前準備
        • 工作坊實作內容
      • 當 Elasticsearch 搜尋引擎遇上 AI @ HelloWordDevConference 2024
        • 投影片
        • Elasticsearch 環境準備
        • Google Colab 環境準備
        • 工作坊操作說明
        • ElasticSearch Relevance Engine (ESRE)
    • ⬆️Elastic Stack 版本升級記錄
      • 🔍Elasticsearch
  • 其他專業服務
    • 👩‍🎓企業包班 | 企業內訓
    • 👨‍💼顧問服務
    • 🈺專案合作
    • 🧩Elastic 授權代理
  • 相關連結
    • Facebook 粉絲頁
Powered by GitBook
On this page
  • 工作坊環境準備
  • 1. 準備 Elasticsearch 環境
  1. 技術分享
  2. workshop
  3. 當 Elasticsearch 搜尋引擎遇上 AI @ HelloWordDevConference 2024

Elasticsearch 環境準備

Previous投影片NextGoogle Colab 環境準備

Last updated 7 months ago

工作坊環境準備

  • Elasticsearch 8.15 以上版本

    • 推薦:在 使用 Email 註冊即可取得 14 天試用的免費環境,不用綁信用卡!

    • 自行架設:確保版本一定要在 8.15.0 以上,並且是乾淨的環境,單純參與工作坊使用。

      工作坊進行中,無法替大家解決各種自行架設造成的環境問題,因此不建議使用自行架設,若是要使用自行架設的環境,請確認自己對於 Elasticsearch 足夠熟悉能排除障礙。

  • 這次的操作會使用到

    • 需要登入你的 Google 帳號,並且依以下教學複製工作坊要使用的 Python Notebook 到你的 Google Drive 當中。

1. 準備 Elasticsearch 環境

依照不同的環境,你需要完成以下的任務

使用 Elastic Cloud:

  • 從 Elastic Cloud 取得 Cloud ID

  • 安裝 Elasticsearch Analysis ICU Plugin 以及增加 Machine Learning Instance (重新啟動集群需要 5 分鐘)

  • 在 Kibana 建立 API Key

自行架設的 Elasticsearch:

  • 安裝 Elasticsearch Analysis ICU Plugin

  • 若有啟用 Security,準備好能存取 Elasticsearch 的使用者帳號密碼

1.1 Elastic Cloud 版本的環境準備

a. 註冊 Elastic Cloud

收 Email 確認信。

驗證並重新登入後,進入設定流程。

可以選 Search (非必要)

可以考慮選 Google Cloud Taiwan 的 Region,或許會比較快一點 (非必要)

:::info 點選 Launch 之後,大約要等 3~5 分鐘,等待 Elasticsearch Cluster 建立。 :::

最後完成時,你會看到下面這樣的畫面,這已經是進入 Kibana 的畫面了。

若是要進入

b. 取得 Elastic Cloud ID

c. 安裝 ICU Analysis Plugin

:::warning 第 5 步到第 6 步之中,多增加新增 Machine Learning Instance

  • 為了之後試用 ESRE (Elasticsearch Relevance Engine) 功能 :::

:::info 試用版的 Machine Learning Instance 的配置,可以增加到 4 GB RAM (非必要,只是可以跑快一些) :::

:::warning Confirm 之後,大約要等 5 分鐘的時間,讓 Elasticsearch Cluster Rolling update. :::

d. 建立 API Key

  1. 在 Kibana 網頁上方,搜尋 API Keys,進入 Security / API Keys 頁面。 :::info Kibana 網址在哪? 從 1.1 步驟的畫面上,就可以看到 Kibana 的 Endpoint,可直接點 Open。 :::

  2. 點選右上 Create API Key。

3.隨便取一個名字,例如 HWDC2024-demo,按下 Create API Key。

  1. 畫面上會出現 Encoded 的 API Key,將其複製起來保存。

1.2 自行安裝 Elasticsearch 版本的環境準備 (Elastic Cloud 版請略過)

a. 安裝 ICU Analysis Plugin

在每個 Elasticsearch 節點執行以下執行,安裝 plugin,安裝完成後重新啟動節點。

./bin/elasticsearch-plugin install analysis-icu
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
🛠️
⬜
⬜
⬜
⬜
⬜
Elastic Cloud
Google Colab