作者：智簡雲研發總監 李廣超
導讀
本篇分享的是智簡雲使用雲器Lakehouse升級數據平台的實踐總結。
智簡雲，是一家擁有十余年歷史的科技公司，專註於企業服務領域，開發了兩款核心產品：基於PASS平台的客戶關系管理（CRM）系統和為中小型使用者量身客製的軟體即服務（SaaS）平台。近年來，智簡雲的SaaS平台業務發展迅猛，尤其是在2021年獲得GGV資本的戰略性投資後，公司在市場推廣和產品研發方面投入了大量資源，實作了跨越式增長。
作為一家服務數百家客戶、積累億級會員數據的SaaS企業,智簡雲利用雲器Lakehouse實作了數據平台的架構簡化、效能提升和成本最佳化。同時，雲器獨特的「數據錢包」功能，為智簡雲打造了一種安全、高效、靈活的數據共享新方式。以可控的數據管理機制，讓企業在SaaS平台上的自有數據可以安全回流使用，發揮數據的價值。
智簡雲使用雲器Lakehouse的實踐
億級會員數據帶來的機遇與挑戰
智簡雲SaaS平台積累的億級會員數據，蘊藏著巨大的商業價值。透過對這些數據的分析，智簡雲可以深入了解使用者行為、偏好和需求，從而：
精準行銷 ： 根據使用者畫像和行為數據，進行精準的行銷推廣，提高轉化率和ROI。
提升使用者體驗 ： 透過數據分析，了解使用者痛點和需求，最佳化產品功能和服務，提升使用者滿意度。
最佳化產品服務 ： 根據使用者反饋和數據分析，不斷改進產品和服務，提升市場競爭力。
然而，海量數據的處理也帶來了巨大的挑戰：
數據儲存和管理 ： 億級數據需要巨大的儲存空間和高效的管理工具。
數據處理效率 ： 傳統的資料庫和數據處理工具無法滿足海量數據的處理需求，導致分析效率低下。
數據分析能力 ： 需要強大的數據分析工具和演算法，才能從海量數據中挖掘出有價值的資訊。
數據套用服務能力 ：智簡雲的使用者在平台上積累了大量的數據，有分析和套用的需求，智簡雲作為SaaS平台工具需要更好支持客戶發揮數據價值。
具體的，智簡雲還面臨著一些特定的數據處理難題，包括：
架構復雜
起初采用了傳統的Lambda架構來處理大數據問題，但該架構的復雜性要求我們整合多種開源工具，如Spark、Kafka、HDFS等。這些技術雖然套用廣泛，但要將它們整合在一起，卻是一項龐大的工程。Lambda架構通常包含即時處理層、批次處理層和服務層等多個層次，每一層都需要獨立設計、開發和維護，這無疑增加了系統的復雜性和技術多樣性。
開發運維復雜
架構的復雜性直接導致了開發和運維的復雜性。由於涉及多種技術和系統，運維和管理成本相對較高。一旦系統出現故障或需要效能最佳化，都會帶來一系列復雜問題。盡管Lambda架構支持線性擴充套件，但即時層和批次層的獨立擴充套件可能會在系統規模擴大時遇到瓶頸。
在這種情況下，需要專門的人才進行精細的管理和最佳化。然而，我們的核心關註點在於套用開發，如果過多地投入精力處理這些問題，將導致資源成本大幅增加。此外，數據接入和ETL（Extract, Transform, Load）處理架構的復雜性也帶來了額外的挑戰。
客戶數據復雜
CRM系統處理的數據非常復雜，包括會員數據、消費數據以及與商城相關的行為數據，這些數據大多來源於客戶的ERP系統。盡管我們提供了介面，但某些數據的即時性和大量數據的處理需求要求我們直接從客戶的資料庫中抓取數據。客戶的資料庫型別多樣，常見的有Oracle、PostgreSQL、MySQL等，這增加了研發成本。此外，每個客戶的業務系統各不相同，數據抽取和轉換過程也較為復雜。需要將每家客戶獨特的原始數據結構抽象化，以便於分析，這就需要成熟的數據抽取轉換程式。
成本高
開發維護成本高，伺服器成本高（至少五台高配主機）。
資源浪費: 數據處理任務存在高峰和低谷，導致資源浪費。
數據研發成本: CRM數據復雜，來自不同ERP系統，資料庫多樣性增加研發成本。
解決方案的選型思考
面對日益增長的數據量和日趨復雜的業務需求，智簡雲意識到，選擇一個合適的大數據平台至關重要。為了解決現有痛點並滿足未來發展需求，智簡雲經過深思熟慮，制定了以下幾個關鍵的選型指標：
一體化架構 ：告別繁瑣的Lambda架構，尋求一個一體化的大數據平台，簡化數據處理流程，降低系統復雜性和技術多樣性。
效能達標 ：平台必須具備強大的數據處理能力，能夠高效地進行查詢分析和跑批任務，滿足海量數據的處理需求。
彈性伸縮 ：平台需要具備彈性伸縮能力，能夠根據數據量和計算需求動態調整資源，應對業務高峰期和大促活動。
雲原生服務 ：優先選擇雲原生服務，避免私有部署帶來的運維難題，降低運維成本，提高資源利用率。
數據安全 ： 平台必須具備完善的數據安全保障機制，確保會員數據的安全性和私密性，滿足合規要求。
所選的大數據平台必須具備一體化架構，能夠滿足大數據處理的效能要求，具備彈性伸縮能力，並且是雲原生服務。此外，數據安全也是我們的重要考量因素，因為我們處理的會員數據涉及私密和商業機密，必須確保數據安全。在市場上尋找滿足這些條件的產品發現雲器 Lakehouse 完全符合我們的指標。
雲器@智簡雲架構
雲器Lakehouse的一體化架構能夠替代之前使用的多個復雜開源工具，提供界面化的配置，簡化了底層管理，支持彈性伸縮，並確保了數據安全。
公司與雲器合作設計了基於雲器的數據架構，其中包括：
智簡業務系統
使用MongoDB和PostgreSQL資料庫，並透過Flink CDC技術實作數據的即時接入和異步批次匯入。
雲器產品模組
在雲器Studio中進行數據加工分析，生成可套用的數據模型，支撐整個業務流程。
多資料來源適配&可配置抽取任務
我們深入使用了雲器的多資料來源適配功能，並配置了每日執行的抽取任務。
數據進倉
數據整合&數據ETL加工
數據進入倉庫後，對其進行加工，利用雲器的ETL排程和數據品質監控工具，大大降低了數據管理和開發的復雜性。這使得我們的開發資源得以釋放，可以更專註於業務套用開發，實作了降本增效。雲器的增量計算和即時數據處理能力也滿足了我們業務上的準即時需求。
排程運維&數據品質監控
雲器的排程運維工具能夠監控異常任務並行出警報，確保我們能夠在客戶察覺問題之前及時處理。
數據套用
數據套用方面的典型的套用場景：
會員洞察
會員標簽
智慧行銷
數據分享
會員洞察
會員洞察涉及對會員數據的全生命周期分析，要求資料庫具有高數據新鮮度和即時查詢分析能力。我們利用 Lakehouse 實作了這些需求，並透過圖形化界面靈活定義內容，對後台效能提出了較高要求。
會員標簽
會員標簽包括自動標簽、手動標簽、圈選標簽和二維標簽等，主要利用 Lakehouse 實作多租戶場景下的標簽計算，特別是自動標簽，根據客戶設定的規則定時計算，對資料庫效能和計算能力要求較高。
智慧行銷
智慧行銷使用專業的行銷畫布，透過 Lakehouse 實作超長時間分區和深度數據需求，支持近百種查詢邏輯的自訂，構建精準化的客戶行銷策略。
數據錢包
賦能SaaS企業，釋放數據價值。
對於像智簡雲這樣的SaaS企業來說，有客戶的數據產生在智簡雲的平台之上，這些數據的所有權是客戶的，如何安全高效地讓客戶使用這部份數據，與客戶自身的數據有機結合，一直是一個難題。傳統的解決方案往往需要復雜的許可權管理和數據傳輸過程，不僅效率低下，而且容易出現安全風險。雲器Lakehouse的數據無復制分享技術，為SaaS企業實作安全可控的數據交換提供了全新的解決方案，猶如為數據世界打造了一個便捷安全的「數據錢包」。
數據錢包是什麽？
想象一下，銀行的電子錢包讓使用者無需接觸實體貨幣，即可輕松完成支付、轉賬等操作。同樣，雲器Lakehouse的「數據錢包」功能也賦予了SaaS企業客戶強大的數據使用能力，客戶無需直接復制底層數據，就能實作數據的程式碼級ETL和分析，從而實作數據價值的最大化釋放。
數據錢包如何賦能SaaS企業？
簡化數據錢包流程 ：數據錢包消除了傳統數據共享方式的復雜性，SaaS企業可以輕松地將數據授權給客戶，無需進行繁瑣的數據復制和傳輸，極大地提高了數據共享的效率。
增強數據安全性 ：數據錢包采用細粒度的許可權控制，確保只有授權使用者才能存取數據，同時避免了數據泄露的風險。SaaS企業可以放心地將數據共享給客戶，無需擔心數據安全問題。
提升數據即時性 ：數據錢包消除了傳統數據共享方式帶來的數據延遲，數據更新及時到達客戶，數據價值不打折扣。
提升客戶體驗 ：數據錢包讓SaaS企業客戶能夠更直接、更完整、更靈活地使用數據，從而更好地洞察業務，做出更明智的決策。客戶可以根據自身需求，對數據進行分析和處理，獲得更大的價值。
數據錢包套用場景
數據分析服務
：SaaS企業可以將數據分析服務打包成產品，透過數據錢包技術將數據授權給客戶，讓客戶自助進行數據分析，提升客戶體驗。
數據合作 ：SaaS企業可以與合作夥伴共享數據，共同開發新的產品和服務，拓展業務範圍。
數據資產入表 ：SaaS企業可以將數據錢包打包成為數據資產，經過數據資產認證後，即可計入企業資產，實作資產增長。
雲器Lakehouse的數據錢包，為SaaS企業的數據共享帶來了革命性的變化。它不僅簡化了數據共享流程，增強了數據安全性，更重要的是，它賦能SaaS企業客戶，釋放數據價值，為SaaS企業的發展開辟了新的道路。
總結與思考
雲器為智簡雲帶來了多方面的價值，包括解決了多資料來源問題、支持多雲適配、提高了數據處理速度、保證了服務的穩定性，並實作了省錢、省時、省力。
多： 解決多資料來源問題，支持多雲適配。
快： 分布式計算引擎提高數據處理速度。
好： 提供高品質的數據處理和分析結果。
省： 節省成本，簡化數據整合處理過程，減少運維負擔。
END
▼點選關註雲器科技公眾號，優先試用雲器Lakehouse！
關於雲器
雲器Lakehouse 作為面向企業的全托管一體化數據平台，只需註冊帳戶即可管理和分析數據，無需關心復雜的平台維護和管理問題。新一代 增量計算 引擎實作了批次處理、流計算和互動式分析的統一，適用於多種雲端運算環境，幫助企業簡化數據架構，消除數據冗余。
點選文末「 閱讀原文 」，前往雲器官網申請試用，了解更多產品細節!
官網：yunqi.tech
B 站：雲器科技
知乎：雲器科技
往期推薦
