當前位置: 妍妍網 > 碼農

太強了!推薦一款開源的基於雲原生的kafka解決方案

2024-01-27碼農

點選上方藍字

關註大俠之運維

大家好,這裏是大俠之運維,文末有 彩蛋

最近剛剛了解到這個計畫,已經準備實踐一把了,主要是最近在壓降過程中發現,有一批kafka集群其實占據了大量的資源,一直想要降掉。

了解過後,如下幾點引起了關註:

  • 基於雲原生,可以充分利用雲的彈性及低成本

  • 100%相容apache kafka

  • 後端儲存可使用物件儲存,broker無狀態

  • 下為具體介紹:

    AutoMQ Kafka:雲原生的Kafka發行版

    軟體簡介

    AutoMQ Kafka是一款基於Apache Kafka的雲原生軟體,它透過將Broker數據解除安裝到共享儲存,實作了Kafka的無伺服器化,從而大大降低了雲端運算成本,提高了可延伸性和可靠性,同時保持了與Apache Kafka的100%相容性。

    功能特點

    AutoMQ Kafka具有以下幾個主要的功能特點:

  • 雲原生 :AutoMQ Kafka充分利用了雲服務的特性和優勢,如物件儲存、彈性計算、Spot例項等,構建了一個高可用、高彈性、高自動化的系統架構,為使用者提供了低延遲、可延伸、可靠和經濟的Kafka服務。

  • 成本效率 :AutoMQ Kafka透過將儲存和狀態解除安裝到雲服務商的物件儲存,建立了一個無狀態的業務邏輯層,實作了秒級的分區遷移和流量平衡,有效地克服了Apache Kafka的縮放慢和遷移復雜的問題。

    同時,AutoMQ Kafka還提供了即時的雲賬單分析和Spot例項整合,幫助使用者最佳化雲資源的使用,實作按需付費和節約成本。據測試,AutoMQ Kafka相比Apache Kafka可以節省高達90%的雲端運算成本。

  • 可延伸性 :AutoMQ Kafka透過將儲存和計算分離,實作了無縫的水平擴充套件。由於使用了共享儲存,分區遷移不需要數據復制,因此可以在秒級完成遷移切換,而不會影響數據的一致性和可用性。

    此外,AutoMQ Kafka還整合了定時和自適應的彈性策略,可以根據流量的變化自動調整計算資源的規模,實作近乎最優的資源利用率。

  • 相容性 :AutoMQ Kafka選擇了在基礎層面上最小化的儲存替換切面,使用了Kafka的原生計算層,配合共享流儲存,輕松實作了與Apache Kafka的100%相容性。AutoMQ Kafka透過了132項相容性測試,支持了所有的1000多個KIPs,以及0.9.0至3.4.0的版本⁵。

  • 與Kafka的區別

    AutoMQ Kafka與Apache Kafka的主要區別在於儲存層的設計。

    Apache Kafka使用了本地磁盤儲存,需要預留規格,不夠靈活,而且分區遷移需要數據復制,單個分區通常需要分鐘級的遷移時間。

    AutoMQ Kafka則使用了S3物件儲存,按需付費,按需使用,而且分區遷移不需要數據復制,秒級完成遷移切換。

    這樣的設計使得AutoMQ Kafka在成本、可延伸性、可靠性等方面都有了顯著的優勢,同時也保持了與Apache Kafka的完全相容性。

    如何quickstart

    要使用AutoMQ Kafka,您可以選擇以下兩種方式:

  • 開源版 :適用於開源開發者,自行部署場景。免費永久,具有Apache Kafka的所有功能,以及秒級分區遷移、自動流量平衡、分鐘級平滑擴縮容、單副本高可用、完全按用量付費儲存等特性。

  • 雲服務版 :適用於雲端運算使用者,無需部署,即開即用。提供免費試用,具有開源版的所有功能,以及自動雲賬單分析和最佳化、Spot例項成本降低、跨可用區三副本復制流量降低、豐富的彈性策略等特性。

  • 開源地址:https://github.com/AutoMQ/automq-for-kafka

    官網地址:https://www.automq.com/zh/kafka

    最近整理了2023年最火的軟體神器,回復關鍵字 2023合集 獲取

    推薦閱讀 ⬇️ 都是高贊

    PS:求求啦! 在看 支持下吧!