當前位置: 妍妍網 > 資訊

時序資料庫 IoTDB 構築長安汽車海量車況數據管理新引擎,助力智慧網聯汽車發展

2024-06-17資訊

作為長安汽車車聯網平台核心,IoTDB 高效應對高並行讀寫、海量數據長期儲存、低延遲查詢、端雲協同部署等數據管理難點。

本文源於:長安智慧化研究院

1. 業務場景介紹

公司簡介

長安汽車,全稱「重慶長安汽車股份有限公司」,是中國領先的汽車制造商之一,以廣泛的產品線和創新技術而聞名。長安汽車不僅提供多種乘用車和商用車,還在智慧網聯汽車技術方面處於行業前沿,特別是在車聯網平台的開發上。

車聯網平台 是長安汽車智慧化戰略的核心組成部份,該平台利用雲端運算、大數據、物聯網和人工智慧等技術,實作車輛與外部環境、其他車輛以及交通基礎設施的互聯互通。其核心平台 VOT 實作了 千萬級車輛即時線上、毫秒級通訊互聯 、完整的生態接入能力,並在此基礎上提供 即時數據采集、海量數據分析計算、即時預警車輛故障、保證車輛安全駕駛 等功能,顯著提升了使用者的用車體驗。

業務全景介紹

長安智慧化研究院-雲平台開發所承擔了長安汽車智慧化轉型的重要角色,其車聯網平台是公司智慧化戰略的重要組成部份,該平台借助大數據、雲端運算和人工智慧等先進的數位技術,為消費者提供更安全、更舒適、更便捷的智慧駕駛體驗。主要包含的業務如下:

車聯網核心平台 VOT :公司基於超大規模雲原生架構下設計的車雲核心服務,業務涵蓋車輛遠控、車況、事件通訊、服務編排、規則引擎等核心能力, 透過物聯網時序資料庫 IoTDB 實作了千萬級的車輛穩定接入、千萬點每秒的數據並行處理以及超高的終端接入相容性 ,是長安汽車所有車輛的雲上大腦。

數據分析平台 :公司基於 Apache Doris 升級了車聯網數據分析平台,支持單日百億級別數據的即時處理,並能實作十億級別數據查詢的秒級響應。該平台為長安汽車在提升使用者用車體驗、即時預警車輛故障、保證車輛安全駕駛等方面帶來顯著成果。

雲器 Lakehouse 大數據平台 :公司建設了基於雲器 Lakehouse 的車聯網大數據平台,面對超大規模數據量和業務的飛速發展,解決了成本高、用數難、運維煩等挑戰。

長安汽車車聯網業務整體架構圖

平台時序數據管理能力建設

伴隨著長安汽車旗下主要品牌(包括阿維塔、深藍、啟源等)的迅猛擴張以及智慧網聯汽車的數量呈指數級增長,車聯網平台迎來了前所未有的壓力。這種增長不僅給車聯網平台帶來了數據並行處理的挑戰,也導致了平台海量數據處理成本的上升、效率的下降以及即時和歷史數據儲存費用的增加。

具體來看,車況資訊作為眾多車輛數據中的核心數據,海量的連線數量導致數據上報量也呈指數級增長。在當前的日活躍使用者數下, 每日即時上行的車況數據量已達到驚人的 200 T

IoTDB 作為長安汽車車聯網平台的核心數據儲存引擎,扮演著至關重要的角色 ,不僅支持高並行的讀寫操作,還負責歷史數據的長期儲存。

2. 業務需求痛點

海量並行寫入效能低

當前,在長安汽車 閑時活躍使用者量約 200 萬 的情況下,車聯網平台 即時上傳的車況數據並行量已經穩定在數十萬級別 。由於不同車型導致的車況樣版資訊需求差異,動態儲存成為了一個迫切需要解決的問題。

同時,相比傳統汽車,智慧汽車領域單個智慧汽車的數據互動量呈現出數十倍的增長。以長安汽車近千萬的日活躍使用者量計算,長安汽車車聯網平台長期承受著 每秒超過 50 萬次的數據傳輸 壓力。如此海量數據壓力下,傳統資料庫面臨著伺服器資源高負載和寫入效能的雙重挑戰。

儲存與查詢靈活性差

在面對這些挑戰時,長安汽車現有車況數據儲存引擎 HBase 表現出明顯的劣勢:原數據儲存引擎 數據模 型基於行鍵、列族和時間戳,所有的數據存取模式都必須圍繞該模型設計。若數據存取模式與 HBase 的數據模型不匹配,可能會導致查詢效率降低。

而且,HBase 不支持像傳統關系型資料庫般的聯結操作和復雜的事務處理。因此在需要進行 復雜查詢 的套用場景中,HBase 可能並不是最佳選擇。

此外,HBase 的查詢通常涉及全表掃描,這在大型表中會 消耗大量資源和時間 。盡管這一問題可以透過使用過濾器來減少掃描的數據量,但仍然是一個需要考慮的效能瓶頸。

歷史數據儲存成本高

HBase 作為一種基於列的儲存解決方案,雖然適合儲存稀疏數據,但在處理 高頻更新和小批次隨機讀寫操作 時效率並不理想。同時,盡管 HBase 支持 GZIP、Snappy 等多種壓縮演算法以有效減少儲存空間占用,但這些操作可能會 增加 CPU 使用率,並降低數據的讀寫效能 ,從而無法滿足大數據量下數據即時處理的需求。

中心計算資源緊張

長安汽車原有的車況數據架構基於純雲端的 HBase 儲存,強烈依賴於 Hadoop 生態計算架構,這種 計算架構並非輕量級 ,其所有計算成本都緊密圍繞著建立的生態系。這種依賴性, 對雲核心的負載造成了極大壓力

此外,HBase 基於單個主節點的集群架構,在面臨故障時雖然可以繼續連線其他區域(region),但主節點的恢復時間較長,從而導致計算鏈路效能下降,這也意味著所有計算壓力都集中在雲端,單就 HBase 而言其復雜的架構 難以在邊緣節點上部署

3. 選型 IoTDB 原因

支持動態樣版的海量並行處理能力

IoTDB 基於時間序列的儲存結構最佳化與 HBase 針對基於時間序列的固定樣版不同, IoTDB 的後設資料樣版支持動態的增刪改查,並在此基礎上實作了物理量後設資料共享,最佳化了儲存及使用成本

IoTDB 也支持高並行連線 ,單台伺服器可以處理 數萬次並行連線/秒 ,具備高寫入吞吐的特點;單核處理寫入請求可以達到 數萬次/秒 ,單台伺服器的寫入效能可以達到 數千萬點/秒 ;在集群環境下,寫入效能可以線性擴充套件,集群的寫入效能可達 數億點/秒

即時讀寫與高效壓縮兼顧

IoTDB 使用更高效的時間序列資料壓縮技術,如 Gorilla 編碼,可以在保持 較高壓縮比 的同時,實作 快速的數據讀寫 ,既降低了歷史車況的儲存壓力,又滿足了車聯網下車況數據的即時使用場景。

端雲端運算架構

IoTDB 的 輕量級架構 適用於邊緣裝置,具有高效的數據管理和儲存能力。在邊緣節點,IoTDB 支持 低延遲的查詢,使即時數據分析成為可能 ;終端層的數據透過邊緣層的 IoTDB 進行即時采集、處理和儲存,並進行一系列的分析任務後,後續數據可 上傳到雲端 IoTDB ,滿足車聯網領域中大規模數據儲存、高速數據攝入和復雜數據分析的需求。

邊緣 IoTDB 結合 IoTDB 雲版本,可以支持在不同環境中管理時間序列數據,提升數據品質, 降低雲端運算的成本

4. IoTDB 時序數據管理流程簡述

長安汽車車聯網平台原有方案采取較為簡單的車況上報,經由閘道器轉發後即時車況儲存在 Redis,歷史車況儲存在 HBase。

基於 IoTDB 的新方案 采用端雲協作計算 ,部份車況數據 在終端進行數據整合 ,也可根據特定需求(如國家采集標準的數據格式轉換、周期數據整合等) 自行在終端進行簡單計算、短期儲存 。按照配置 上傳雲端 ,透過規則引擎進行分發後,基於 IoTDB 即時性高的特征, 同時進行即時數據推播、即時數據 Redis 儲存、歷史數據 IoTDB 落庫並提供查詢介面做數據統一

車聯網平台 VOT 完整架構圖

5. 套用效果

車況上報百萬並行寫入

面向長安汽車 百萬級線上車輛即時車況數據上報、即時儲存查詢 場景, IoTDB 每秒寫入能力達到 800w+ ,並且 支持 水平擴充套件承載更高的壓力

當前, 長安汽車 VOT 平台即時接入車輛數量達到 200 萬輛,每日產生的數據量高達 1500 億條記錄 。在這種規模下,依托 IoTDB 打造的新系統能夠保持 寫入延遲在毫秒級別 ,數據實作快速可靠寫入。

平台單日產生的數據量累計約 200 T ,在經過 IoTDB 高效即時儲存處理後,數據量得以大幅壓縮, 最終儲存量約為 30T,實作了約 10 倍的資料壓縮比例 。在當前的數據存量(覆蓋近 90 天的時間範圍)下,IoTDB 在大數據處理和儲存方面的卓越效能得以體現。

歷史車況高效查詢

針對目前長安汽車的 萬億級車況數據 IoTDB 將查詢延遲控制在 50 ms 內 ,完全滿足所需效能。

此外,VOT 平台的數據處理架構設計充分考慮到高並行和大數據量的挑戰,並 基於 IoTDB 及其完善的生態接入能力 ,透過采用先進的數據索引和查詢最佳化技術,從而支持快速的數據檢索和分析。

不僅如此,平台還整合了機器學習演算法,用於智慧預測和維護車輛狀態,進一步提升數據處理的效率和準確性。這些技術的套用不僅提高數據處理的速度、降低運維成本,也為使用者提供了更加穩定和可靠的服務體驗。

平台效果展示

啟源 App 首頁

車聯網 VOT 服務管理


天謀科技簡介

天謀科技(Timecho)成立於 2021 年 10 月,是 行業領先的時序資料庫管理系統及相關服務的提供商 ,現已獲得近億元人民幣天使輪融資 。公司由 Apache IoTDB 核心團隊創立,團隊聚焦大數據底層技術軟體研發,針對企業組建物聯網大數據平台時所遇到的數據體量大、采樣頻率高、數據亂序到達、分析需求多、儲存與運維成本高等多種問題,為企業提供海量時序數據管理的高效解決方案。目前,其物聯網原生時序資料庫管理系統 已在國家電網、國家氣象局、中航成飛、中核集團、中國中車、長安汽車、金風科技等企業廣泛套用

電話:010-62780978

信箱:[email protected]

網址:www.timecho.com