2024年4月23日,Apache 軟體基金會(ASF)官方宣布 Apache Celeborn 順利畢業,成為頂級計畫(TLP, Top Level Project):
(Apache 官網部份截圖)
關於 Apache Celeborn
Apache Celeborn 源於阿裏雲自研的 EMR Remote Shuffle Service,旨在解決大數據引擎處理中間數據遇到的效能、穩定性及彈性問題。於 2022年10月 正式捐獻給全球頂級開源社群 Apache 軟體基金會(ASF),對外開源版本的名稱為 Apache Celeborn,成為 ASF 孵化級計畫。
自開源以來,Apache Celeborn 透過改善引擎的效能、增強穩定性及對引擎資源彈性的支持等被越來越多的使用者認可和使用,經過一年多的孵化,Apache Celeborn 開發者數量達到 80+,在 GitHub 上收獲了700+Stars,社群持續活躍,並被 Shopee、網易、小米、小紅書、B站、攜程、知乎、BIGO 等頭部企業廣泛使用並對該計畫進行持續貢獻,覆蓋了互聯網、電商、文娛等多個行業。
鑒於 Apache Celeborn 社群各項指標發展良好,計畫已經趨於成熟, Apache Celeborn 順利透過 ASF 計畫管理委員會的評估和投票,畢業為 Apache 軟體基金會頂級計畫。
畢業寄語 (按姓氏字母排序)
祝賀 Apache Celeborn 畢業!作為首批大規模采用 Celeborn 作為 Spark Remote Shuffle Service 的企業之一,B站一直保持著和社群的深度合作,參與和見證了 Celeborn 如何以創新之力重塑大數據計算的效率邊界,有力支撐了我們的海量數據處理和分析。在此,衷心祝願 Apache Celeborn 計畫和社群發展越來越好, 不斷最佳化效能,擴充套件功能,適應更廣泛、更復雜的套用場景,持續賦能企業與開發者!
— 陳昱康,嗶哩嗶哩大數據架構團隊負責人
祝 賀 Celeborn 成功晉升為 Apache 頂級計畫。 自從我第一次加入社群以來已經快一年了,見證這個計畫的快速發展和在各個公司中的廣泛采用是一種樂趣。 在過去的十年中,整個行業都深受 Apache 開源計畫的深刻影響,我相信 Celeborn 將會是下一個。
— 房明,Engineer @支付寶
祝賀 Apache Celeborn 成功晉級為 Apache 基金會的頂級計畫,這是一個值得慶祝的重要時刻。畢業不僅是一個成就,更是一個新的起點。我們期待著 Apache Celeborn 社群能夠繼 續秉承 Apache Way 的精神,保持開放友好的文化,吸引更多的開發者加入其中。 期待 Apache Celeborn 在數據計算領域持續創新,為更多的使用者提供雲原生解決方案,助力使用者成功。
— 季錢飛,Director of BigData Infra @小紅書
Celeborn 具備優秀的效能和穩定性,在同類的 RSS 產品中脫穎而出,極大的改善了我們的集群作業的穩定性。恭喜 Celeborn 從 Apache 孵化器畢業,這是社群一個重要的裏程碑,也是一個全新的開始!
— 賈承昆,知乎數據平台負責人
祝賀Apache Celeborn從Apache孵化器順利畢業!這一重要時刻不僅代表了 Celeborn 社群所有貢獻者的努力和承諾,也象征著 Apache 社群對 Celeborn 計畫的認可和支持。A pache Celeborn 的一路成長歷程,高度體現了 Apache 社群的價值觀,堅持開放、透明、共享的精神,不斷創新、不斷超越,為開源社群做出更多貢獻,為使用者提供更加優秀的產品和服務。畢業並不意味著終點,而是代表著新的篇章。我們希望 Apache Celeborn 繼續保持發展和繁榮,致力於打造大數據計算引擎更加強大且可延伸的中間數據服務,達到效能和創新的新高度,持續增強對大數據處理領域的貢獻,邁向更加輝煌的未來。我們代表中通快遞公司在這裏送上誠摯的祝願,願 Apache Celeborn 計畫蓬勃發展,祝賀 Apache Celeborn 的順利畢業,期待與 Apache Celeborn 一起迎接更多的成功。
— 蔣國友 , 中通快遞數據智慧部高級總監
恭喜 Apache Celeborn 投票透過畢業成為 Apache 頂級計畫! Shuffle 中間數據服務是計算引擎的痛點和效能瓶頸,Celeborn 依靠接管中間數據,磁盤負載感知,雙副本機制,支持 AQE,基於推播 Shuffle 服務,智慧流控反壓等方式解決計算節點有狀態,穩定性和效能差等問題,大幅提高中間數據的流轉效率。 我在 B 站的 Celeborn 生產實踐落地過程中,一路見證 Celeborn 社群的蓬勃發展,不斷吸引諸多來自海內外的貢獻者,共同打造統一的中間數據服務,賦能諸如 Spark,Flink,MapReduce 等計算引擎提升穩定性以及效能。 衷心祝願 Celeborn 社群更多元化,打磨 Remote Shuf fle Service 事實標 桿,提供更多國內外企業助推海量中間數據處理效率。
— 蔣曉峰,Apache Celeborn Committer
嗶哩嗶哩資深開發工程師
恭喜 Celeborn 從 Apache Incubator 順利畢業!非常開心見證了這一時刻。Celeborn 的出現很好地解決了中間數據流轉效率的痛點,穩定且效果拔群。衷心祝願社群越來越好,Celeborn 在未來的開發中取得更大的成功,越發快、穩、彈!
— 李宜核,Apache Celeborn Committer
Engineer @BIGO
衷心祝賀 Celeborn 社群成功晉升為 Apache 頂級計畫!作為計畫的孵化 Champion 和導師,看到 Celeborn 社群透過踐行 Apache Way 的價值觀,逐漸邁向繁榮與興盛,我深感欣慰和驕傲。在孵化期間,Celeborn 展現了出色的創新能力,釋出了多個功能強大且充滿創意的版本,同時營造了一個充滿活力和包容性的社群環境,吸引了眾多新的貢獻者加入。我堅信,Celeborn 社群將繼續保持其獨特的優勢,不斷攀登新的高峰,成為全球矚目的明星計畫,為推動大數據雲原生技術的蓬勃發展做出卓越貢獻。
— 李鈺,ASF Member
阿裏雲 EMR 團隊負責人
Celeborn 為我們在異構環境下實作在離線混布提供基礎條件,幫助我們很好的實作了線上業務和大數據集群的聯合排程和利用率提升,節省了很大的成本。不僅如此,能夠為 Celeborn 的孵化,持續的改進,最終畢業貢獻我們的力量,跟一群素未謀面的優秀的開發者一起合作,也能和一些前同事再續前緣,實際的參與到 Celeborn 的持續開發和叠代,是一次很好的經歷。祝 Celeborn 持續進步,變得越來越好。
— 羅李 ,Director of Data Infra @Shopee
祝賀 Celeborn 在 ASF 順利畢業成為 Apache Top Level Project, Celeborn 目前已經在阿裏巴巴生產場景大量落地,並可以同時服務 Flink 和 Spark 計算集群,真正實作了統一大數據 Shuffle 服務,期待未來能夠有更多開發者加入到 Celeborn 社群,並透過開源社群服務更多開發者。
— 王峰,阿裏雲開源大數據負責人
熱烈祝賀 Apache Celeborn 計畫成為 Apache 軟體基金會的頂級計畫!同時,也對 Apache Celeborn 團隊及社群的所有參與者取得這一裏程碑式的重大成就表示由衷的祝賀與敬意。Apache Celeborn 作為計算引擎 Remote Shuffle Service,實作了對 Spark 與 Flink 等主流計算框架的無縫支持,不僅顯著提升了計算效率和穩定性,更為彈性計算奠定了堅實的基礎。小米有幸自 Apache Celeborn 計畫的早期階段即成為忠實使用者,一路相伴,不僅見證了 Apache Celeborn 的飛速成長,更是深度享受到其帶來的顯著效益,對此,我們深表感激。未來,小米將繼續堅定不移地投身於 Apache Celeborn 社群的建設和發展,與 Apache Celeborn 社群深化合作、共建共享、共同推動 Apache Celeborn 向更高遠的目標邁進。與此同時,我們真摯地祝福 Apache Celeborn 能夠始終保持創新活力,勇攀開源技術的最高峰,續寫新的輝煌篇章!
— 王勝傑,小米計算引擎 Tech Leader
熱烈祝賀 Apache Celeborn 計畫順利完成孵化階段,成功從 Apache 孵化器畢業!這一裏程碑式的成就充分體現了 Celeborn 社群對 Apache Way 的深刻踐行,以及對大數據領域持久探索的決心和貢獻。這是一個新的起點,祝願 Celeborn 計畫越來越好,社群越來越多元!
— 姚琴,Spark Committer
、
Kyuubi VP
網易 Spark Leader
熱烈祝賀 Celeborn 計畫順利畢業!BIGO大數據平台在 Gluten 計畫中首次以列式 Shuffle 引入 Celeborn 作為Spark集群的 RSS,取得了優異效果,Celeborn 的穩定性和效能讓人印象深刻,其維護團隊的專業性也讓人放心,預祝 Celeborn 計畫未來發展越來越好!
— 張誌彪,BIGO 大數據平台負責人
Apache Celeborn 是 Pinterest 新一代批次數據處理平台的基石。因為 Celeborn 的存在,我們使 Spark 作業在K8s上具備了根據需求動態獲取資源的能力,從而大振幅減少基礎設施及計算開銷.同時,因為 Celeborn 卓越的效能,我們可以以相較其他方案更低的成本運維 Celeborn 集群,並在一些大規模 shuffle 的場景下取得了效能上的大幅提升! 在和 Celeborn 社群緊密合作的過程中,跨國度、公司、背景的和諧開發氛圍以及社群成員深厚的技術功底,使得我們的合作卓有成效!祝願 Celeborn 一如既往,越來越好!
— 朱楠,Engineer @Pinterest
點選「閱 讀原文 」, 檢視 Apache 官網完 整資料 ~