Elasticsearch
主要記錄 基礎實務班 與 進階運維班 有關的內容變化
Last updated
主要記錄 基礎實務班 與 進階運維班 有關的內容變化
Last updated
[Transform]
Start API 增加 from 的參數。
避免在 search 中使用 range query (now-1d)，會影響 search request cache。
新增 _schedule_now API
[Cluster] Health API GA _health_report
8.3 之前，endpoint 是 _internal/_health
支援多種 indicator，並且各自擁有自己的健康狀態 (green, yellow, red, unknown)
[Ingest Pipeline]
新增 Redact Ingest Processor
從內文中，使用 Grok pattern，將敏感資料給刪除。
[Data Stream]
GA
TSDS - GA
這是在 ILM 中的其中一個 action，就像是 Rollup 一樣的功能，但是能在 ILM 中結合使用，而且能直接使用 _search 使用。
categorize_text aggregation GA. (log 分析的好工具，但是要付費 license 才能用)。
[ILM]
no longer rolls over empty indices
新的 Action: downsampling (不同於rollup)，只支援 Data Stream 的 TSDS 資料類型。
[Data Stream] Introduce TSDS (Time Series Data Stream) (preview)
sharding 時，會依時間，將時間相鄰的資料放在同個 shard，並依照時間進行 sorting.
好處是 壓縮率高省儲存成本、執行效率快、能依這種資料結構提供特別的 aggs
因為每個 index 存放特定的時間區段資料，所以要新增較舊的時間的資料 (會落在先前的 index)，也能支援! (但要留意 index 不能是 readonly)
[Transform]
新增 unattended mode，
[Aggregation]
Frequent items aggregation (preview)
renamed to frequent item sets in 8.7
[ILM]
introduce min_ conditions in rollover API & ILM actions
[Transform]
Infinite and adaptive retries for Transforms
[Search] support ANN (Approximate Nearest Neighbor) in _search (preview)
原先是 _knn_search 獨立的 endpoint ，現在移到 _search 之中，成為 knn 獨立的 option。
[Mapping] _source 支援 synthetic 模式
使用 doc_values 來反推，在沒有儲存 _source 的情況下還是能支援 reindex，儲存空間省 70%。
[Mapping]
新增 lookup runtime field (preview)
可以在查詢時動態查找另一個 index 的資料，有點像是 runtime join，要小心效能!
不能在 query 與 aggregation 時使用此 lookup 欄位。
[Aggregatin]
新增 random_sampler 支援亂數取樣，特別適用在昂貴的 aggregation 處理時的取樣。
[Authentication]
新加 JWT realms support for JWT validation
[Transform]
新增 reset API
[Text Analysis]
nGram and edgeNGram 改名
ngram 與 edge_ngram
[ILM]
freeze action 沒作用了，freeze API 也被移除。
應自行將 ILM Policy 中的 freeze action 移除。
ILM Policy 現在一定要有配合的 snapshot repo 與 SLM policy
[Transform]
7.4 版之前建立的 Transform，必須 upgrade (upgrade transform api)
[Aggregation]
date_histgram aggs 的 interval 已移除
改用 calendar_interval 或 fixed_interval
不能再使用 _id 欄位 (來自昂貴的 fielddata) 在 aggs中
真的要用，只要 docvalues 有 enable，可以 duplicate 到另個欄位 (但 auto-generated ID 不支援)
Data Folder Changed
不再支援同時存多個 node 的資料在 data folder 中，只有一份會自動 migrate，存多份要自行在 config 指定好。
Cloud Repository Plugin 預設在 ES 裡了。 (azure, gcs, s3)
有些 path 中 type 完全移除了
_bulk, _count, _delete_by_query, GET _mapping/field/<field>, _update, _update_by_query
有些常用的有保持 _doc
?local 的參數在 _cat API 的 nodes, shard, indices 都移除了
Adaptive Replica Selection 在 _search 與 _get request
之前會優先使用相同 location 的 shard (w/ same awareness attribute values)
8.0 後，預設 Adaptive Replica Selection (參考先前 inter-node 通訊時所使用的時間)
transient cluster settings 棄用，以後都用 persistent cluster settings.
./elasticsearch-setup-password 棄用，因為會自動建立，改用 elasticsearch-reset-password
移除 sync_flush，在一般 flush 時就會去計算 sync_id