🔍Elasticsearch

主要記錄 基礎實務班 與 進階運維班 有關的內容變化

8.7

  • [Transform]

    • Start API 增加 from 的參數。

      • 避免在 search 中使用 range query (now-1d)，會影響 search request cache。

    • 新增 _schedule_now API

  • [Cluster] Health API GA _health_report

    • 8.3 之前，endpoint 是 _internal/_health

    • 支援多種 indicator，並且各自擁有自己的健康狀態 (green, yellow, red, unknown)

  • [Ingest Pipeline]

    • 新增 Redact Ingest Processor

      • 從內文中，使用 Grok pattern，將敏感資料給刪除。

  • [Data Stream]

    • TSDS(Time Series Data Stream) GA

    • TSDS - Downsampling GA

      • 這是在 ILM 中的其中一個 action，就像是 Rollup 一樣的功能，但是能在 ILM 中結合使用，而且能直接使用 _search 使用。

8.6

  • categorize_text aggregation GA. (log 分析的好工具，但是要付費 license 才能用)。

8.5

  • [ILM]

    • no longer rolls over empty indices

    • 新的 Action: downsampling (不同於rollup)，只支援 Data Stream 的 TSDS 資料類型。

  • [Data Stream] Introduce TSDS (Time Series Data Stream) (preview)

    • sharding 時，會依時間，將時間相鄰的資料放在同個 shard，並依照時間進行 sorting.

    • 好處是 壓縮率高省儲存成本、執行效率快、能依這種資料結構提供特別的 aggs

    • 因為每個 index 存放特定的時間區段資料，所以要新增較舊的時間的資料 (會落在先前的 index)，也能支援! (但要留意 index 不能是 readonly)

  • [Transform]

    • 新增 unattended mode，

  • [Aggregation]

    • Frequent items aggregation (preview)

      • renamed to frequent item sets in 8.7

8.4

  • [ILM]

    • introduce min_ conditions in rollover API & ILM actions

  • [Transform]

    • Infinite and adaptive retries for Transforms

  • [Search] support ANN (Approximate Nearest Neighbor) in _search (preview)

    • 原先是 _knn_search 獨立的 endpoint ，現在移到 _search 之中，成為 knn 獨立的 option。

8.3

  • [Mapping] _source 支援 synthetic 模式

    • 使用 doc_values 來反推，在沒有儲存 _source 的情況下還是能支援 reindex，儲存空間省 70%。

8.2

  • [Mapping]

    • 新增 lookup runtime field (preview)

      • 可以在查詢時動態查找另一個 index 的資料，有點像是 runtime join，要小心效能!

      • 不能在 query 與 aggregation 時使用此 lookup 欄位。

  • [Aggregatin]

    • 新增 random_sampler 支援亂數取樣，特別適用在昂貴的 aggregation 處理時的取樣。

  • [Authentication]

    • 新加 JWT realms support for JWT validation

8.1

  • [Transform]

    • 新增 reset API

8.0

Breaking Changes

  • [Text Analysis]

    • nGram and edgeNGram 改名

      • ngram 與 edge_ngram

  • [ILM]

    • freeze action 沒作用了，freeze API 也被移除。

      • 應自行將 ILM Policy 中的 freeze action 移除。

    • ILM Policy 現在一定要有配合的 snapshot repo 與 SLM policy

  • [Transform]

    • 7.4 版之前建立的 Transform，必須 upgrade (upgrade transform api)

  • [Aggregation]

    • date_histgram aggs 的 interval 已移除

      • 改用 calendar_interval 或 fixed_interval

    • 不能再使用 _id 欄位 (來自昂貴的 fielddata) 在 aggs中

      • 真的要用，只要 docvalues 有 enable，可以 duplicate 到另個欄位 (但 auto-generated ID 不支援)

  • Data Folder Changed

    • 不再支援同時存多個 node 的資料在 data folder 中，只有一份會自動 migrate，存多份要自行在 config 指定好。

  • Cloud Repository Plugin 預設在 ES 裡了。 (azure, gcs, s3)

  • 有些 path 中 type 完全移除了

    • _bulk, _count, _delete_by_query, GET _mapping/field/<field>, _update, _update_by_query

    • 有些常用的有保持 _doc

  • ?local 的參數在 _cat API 的 nodes, shard, indices 都移除了

  • Adaptive Replica Selection 在 _search 與 _get request

    • 之前會優先使用相同 location 的 shard (w/ same awareness attribute values)

    • 8.0 後，預設 Adaptive Replica Selection (參考先前 inter-node 通訊時所使用的時間)

  • transient cluster settings 棄用，以後都用 persistent cluster settings.

  • ./elasticsearch-setup-password 棄用，因為會自動建立，改用 elasticsearch-reset-password

  • 移除 sync_flush，在一般 flush 時就會去計算 sync_id

PreviousElastic Stack 版本升級記錄Next企業包班 | 企業內訓

Last updated