點選上方藍字
關註大俠之運維大家好,這裏是大俠之運維,文末有 彩蛋 。
最近剛剛了解到這個計畫,已經準備實踐一把了,主要是最近在壓降過程中發現,有一批kafka集群其實占據了大量的資源,一直想要降掉。
了解過後,如下幾點引起了關註:
基於雲原生,可以充分利用雲的彈性及低成本
100%相容apache kafka
後端儲存可使用物件儲存,broker無狀態
下為具體介紹:
AutoMQ Kafka:雲原生的Kafka發行版
軟體簡介
AutoMQ Kafka是一款基於Apache Kafka的雲原生軟體,它透過將Broker數據解除安裝到共享儲存,實作了Kafka的無伺服器化,從而大大降低了雲端運算成本,提高了可延伸性和可靠性,同時保持了與Apache Kafka的100%相容性。
功能特點
AutoMQ Kafka具有以下幾個主要的功能特點:
雲原生 :AutoMQ Kafka充分利用了雲服務的特性和優勢,如物件儲存、彈性計算、Spot例項等,構建了一個高可用、高彈性、高自動化的系統架構,為使用者提供了低延遲、可延伸、可靠和經濟的Kafka服務。
成本效率 :AutoMQ Kafka透過將儲存和狀態解除安裝到雲服務商的物件儲存,建立了一個無狀態的業務邏輯層,實作了秒級的分區遷移和流量平衡,有效地克服了Apache Kafka的縮放慢和遷移復雜的問題。
同時,AutoMQ Kafka還提供了即時的雲賬單分析和Spot例項整合,幫助使用者最佳化雲資源的使用,實作按需付費和節約成本。據測試,AutoMQ Kafka相比Apache Kafka可以節省高達90%的雲端運算成本。
可延伸性 :AutoMQ Kafka透過將儲存和計算分離,實作了無縫的水平擴充套件。由於使用了共享儲存,分區遷移不需要數據復制,因此可以在秒級完成遷移切換,而不會影響數據的一致性和可用性。
此外,AutoMQ Kafka還整合了定時和自適應的彈性策略,可以根據流量的變化自動調整計算資源的規模,實作近乎最優的資源利用率。
相容性 :AutoMQ Kafka選擇了在基礎層面上最小化的儲存替換切面,使用了Kafka的原生計算層,配合共享流儲存,輕松實作了與Apache Kafka的100%相容性。AutoMQ Kafka透過了132項相容性測試,支持了所有的1000多個KIPs,以及0.9.0至3.4.0的版本⁵。
與Kafka的區別
AutoMQ Kafka與Apache Kafka的主要區別在於儲存層的設計。
Apache Kafka使用了本地磁盤儲存,需要預留規格,不夠靈活,而且分區遷移需要數據復制,單個分區通常需要分鐘級的遷移時間。
AutoMQ Kafka則使用了S3物件儲存,按需付費,按需使用,而且分區遷移不需要數據復制,秒級完成遷移切換。
這樣的設計使得AutoMQ Kafka在成本、可延伸性、可靠性等方面都有了顯著的優勢,同時也保持了與Apache Kafka的完全相容性。
如何quickstart
要使用AutoMQ Kafka,您可以選擇以下兩種方式:
開源版 :適用於開源開發者,自行部署場景。免費永久,具有Apache Kafka的所有功能,以及秒級分區遷移、自動流量平衡、分鐘級平滑擴縮容、單副本高可用、完全按用量付費儲存等特性。
雲服務版 :適用於雲端運算使用者,無需部署,即開即用。提供免費試用,具有開源版的所有功能,以及自動雲賬單分析和最佳化、Spot例項成本降低、跨可用區三副本復制流量降低、豐富的彈性策略等特性。
開源地址:https://github.com/AutoMQ/automq-for-kafka
官網地址:https://www.automq.com/zh/kafka
最近整理了2023年最火的軟體神器,回復關鍵字 2023合集 獲取
推薦閱讀 ⬇️ 都是高贊
PS:求求啦! 點 「 在看 」 支持下吧!