在AI新基建時代,智慧化醫學影像已成為一種時代趨勢。然而,醫學影像AI模型在臨床開放環境中的安全性仍未得到有效保護,成為一個亟待客觀評估和解決的問題。讓使用者明確知道AI模型的安全執行邊界,並據此合理使用AI模型且針對性地增強模型安全性,是 RobustM IA 計畫的終極目標。
歡迎大家前來註冊並體驗RobustMIA, 新使用者可以獲得美團優惠券 。期待您的體驗!
近年來,深度學習在醫學影像的研究與套用熱度不斷攀升。每當有新的深度學習模型湧現,公眾的關註焦點往往集中於模型在特定、封閉的醫學影像數據集上的效能表現。
Huang et.al, 「Segment Anything Model for Medical Images?」, Medical Image Analysis, 2023.
然而,深度學習模型作為復雜系統,容易受到諸多影像因素的影響,如 影像雜訊、灰度畸變、傳輸損失、對抗擾動等 ,從而表現得異常脆弱、失去安全保障。醫學影像AI模型倘若在開放、不可控的臨床環境中沒有良好的穩定性,那麽在其套用將存在巨大的風險隱患!
面臨醫學影像AI模型安全性,有多個關鍵問題待解答:醫學影像AI模型的安全性如何有效量化評估?使用者自己的AI模型是怎樣的「六邊形戰士」?每個醫學影像AI模型的安全邊界在哪裏?如何基於安全邊界,不斷完善增強模型的安全性?
我們調研了相關評估AI模型穩定性測試的平台,發現當前領域內罕有針對醫學影像AI模型穩定性的公開評估系統。因此,團隊提出並構建了 第一個醫學影像AI安全性測試平台 ——RobustMIA(Robust Medical Image Analysis),致力於讓醫學影像AI模型能「量力而行」、越來越安全。
RobustMIA與現有評估模型穩定性平台的對比
作為第一個醫學影像AI穩定性測試平台,RobustMIA遵從以下設計理念:
安全攻擊方法專業且多樣,支持分類/分割/檢測,全面評估模型穩定性。
AI模型安全性指數客觀定量,模型安全能力邊界清晰化。
RobustMIA分數參考價值高、指向明確,與模型穩定性線性強相關。
采取「測後即焚」宗旨,保護使用者測試私密與資源。
AI模型安全指數與排行共享,促進社群發展與繁榮。
接下來,讓我們一起來深入了解RobustMIA, 揭開RobustMIA平台的面紗:
01
全方位評估模型穩定性
RobustMIA支持
分類,分割,目標檢測
三大常見任務。總共上線
36種
攻擊方式用於評估模型穩定性,從基礎的影像處理攻擊到高階對抗攻擊均有涉及,還針對醫學影像使用特定的攻擊(散斑雜訊、ELD雜訊),旨在360°無死角測試模型穩定性。
RobustMIA內建攻擊方式
0 2
上手簡單易懂
現有的模型穩定性評估產品互動方式繁雜,部署困難,模型、數據打包要求苛刻,使用起來總有種抓耳撓腮 的感覺。
但隨著RobustMIA面世,這種情況將不復存在!
RobustMIA平台為使用者提供友善的互動方式。平台提供完善的 說明文件 以及錄制詳細的 視訊教程 ,幫助使用者輕松上手RobustMIA。此外,為了方便使用者上傳模型和數據,平台提供相關的程式碼樣版,使用者只需簡單修改即可上手。
RobustMIA說明文件和視訊教程
0 3
支持使用者上傳私有數據
不同於其他模型穩定性評估產品只能使用特定的數據進行測試,RobustMIA允許使用者自由上傳數據,更加精確地評估模型的穩定性。
然而,您是否擔心上傳私有數據存在風險?
無需有這種顧慮,平台承諾:測試結束後立即刪除上傳的模型檔和數據檔,實作 「測後即焚」 。
0 4
視覺化界面豐富
RobustMIA設計的測試結果頁,從多個維度展現模型的穩定性:
① 測試分數 :平台對模型穩定性的整體量化評分;
② 雷達圖 :平台對模型不同攻擊方法的得分統計;
③ 散點擬合圖 :模型受到 不同攻擊方法的 輸出結果。
使用者可以一鍵生成測試報告,以便隨時查閱。此外,RobustMIA還針對每種任務各設定一個排行榜,支持各使用者「同台競技」。
RobustMIA測試分數、雷達圖、散點擬合圖
RobustMIA分數排行榜
0 5
測試分數權威可靠
RobustMIA內測了近百個經典模型在分類、分割和檢測任務的穩定性強弱,透過對照實驗驗證了RobustMIA 的有效性。
RobustMIA內部部份模型測試分數
看了上述介紹
是不是迫切想要知曉自己模型的穩定性呢?下面演示RobustMIA具體操作流程。
① 進入RobustMIA網址: https://robustmia.com
RobustMIA首頁
② 點選右上角「登入」按鈕,掃碼關註公眾號獲取驗證碼進行登入。
登入
③ 進入測試選擇模型型別並上傳模型、數據檔(模型檔的樣版從使用指南中下載)。
上傳檔
④ 開始測試,使用者即時檢視測試行程。
RobustMIA測試過程
⑤ 測試完畢,結果頁視覺化模型的穩定性。
RobustMIA結果頁
RobustMIA團隊為新使用者準備以下福利
✨ 1.註冊成為新使用者,透過問卷,即可獲得美團5元優惠券。
⭐ 2.送出模型,成功測試生成模型穩定性分數,並分享測試報告,即可獲得美團10元優惠券。
💪 怎麽樣,這個既可以測試模型穩定性,又可以領取獎品的醫學影像AI穩定性測試平台RobustMIA是不是讓您狠狠心動了呢。即刻體驗與試用吧!
RobustMIA網址 :
https://robustmia.com
RobustMIA視訊教程:
https://www.bilibili.com/video/BV16N4y1b73d
團隊介紹
RobustMIA 由深圳大學醫學部醫學超聲計算實驗室(Medical Ultrasound Image Computing Lab, MUSIC)的倪東教授和楊鑫助理教授等帶隊研發。 團隊成員超過10人,歷時近一年,目前仍在全力進行大振幅的最佳化。自研發初期起,RobustMIA一直專註於解決醫學影像AI領域長期存在的安全問題,不斷推動醫學影像AI基礎建設。RobustMIA承諾持續進行更新和最佳化,追求創造醫學影像AI更為安全的未來。
團隊成員