當前位置: 妍妍網 > 碼農

RobustMIA | 為了醫學影像AI更安全的未來

2024-01-25碼農

在AI新基建時代,智慧化醫學影像已成為一種時代趨勢。然而,醫學影像AI模型在臨床開放環境中的安全性仍未得到有效保護,成為一個亟待客觀評估和解決的問題。讓使用者明確知道AI模型的安全執行邊界,並據此合理使用AI模型且針對性地增強模型安全性,是 RobustM IA 計畫的終極目標。

歡迎大家前來註冊並體驗RobustMIA, 新使用者可以獲得美團優惠券 。期待您的體驗!

近年來,深度學習在醫學影像的研究與套用熱度不斷攀升。每當有新的深度學習模型湧現,公眾的關註焦點往往集中於模型在特定、封閉的醫學影像數據集上的效能表現。

Huang et.al, 「Segment Anything Model for Medical Images?」, Medical Image Analysis, 2023.

然而,深度學習模型作為復雜系統,容易受到諸多影像因素的影響,如 影像雜訊、灰度畸變、傳輸損失、對抗擾動等 ,從而表現得異常脆弱、失去安全保障。醫學影像AI模型倘若在開放、不可控的臨床環境中沒有良好的穩定性,那麽在其套用將存在巨大的風險隱患!

面臨醫學影像AI模型安全性,有多個關鍵問題待解答:醫學影像AI模型的安全性如何有效量化評估?使用者自己的AI模型是怎樣的「六邊形戰士」?每個醫學影像AI模型的安全邊界在哪裏?如何基於安全邊界,不斷完善增強模型的安全性?

我們調研了相關評估AI模型穩定性測試的平台,發現當前領域內罕有針對醫學影像AI模型穩定性的公開評估系統。因此,團隊提出並構建了 第一個醫學影像AI安全性測試平台 ——RobustMIA(Robust Medical Image Analysis),致力於讓醫學影像AI模型能「量力而行」、越來越安全。

RobustMIA與現有評估模型穩定性平台的對比

作為第一個醫學影像AI穩定性測試平台,RobustMIA遵從以下設計理念:

  • 安全攻擊方法專業且多樣,支持分類/分割/檢測,全面評估模型穩定性。

  • AI模型安全性指數客觀定量,模型安全能力邊界清晰化。

  • RobustMIA分數參考價值高、指向明確,與模型穩定性線性強相關。

  • 采取「測後即焚」宗旨,保護使用者測試私密與資源。

  • AI模型安全指數與排行共享,促進社群發展與繁榮。

  • 接下來,讓我們一起來深入了解RobustMIA, 揭開RobustMIA平台的面紗:

    01

    全方位評估模型穩定性

    RobustMIA支持 分類,分割,目標檢測 三大常見任務。總共上線 36種 攻擊方式用於評估模型穩定性,從基礎的影像處理攻擊到高階對抗攻擊均有涉及,還針對醫學影像使用特定的攻擊(散斑雜訊、ELD雜訊),旨在360°無死角測試模型穩定性。

    RobustMIA內建攻擊方式

    0 2

    上手簡單易懂

    現有的模型穩定性評估產品互動方式繁雜,部署困難,模型、數據打包要求苛刻,使用起來總有種抓耳撓腮 的感覺。


    但隨著RobustMIA面世,這種情況將不復存在!

    RobustMIA平台為使用者提供友善的互動方式。平台提供完善的 說明文件 以及錄制詳細的 視訊教程 ,幫助使用者輕松上手RobustMIA。此外,為了方便使用者上傳模型和數據,平台提供相關的程式碼樣版,使用者只需簡單修改即可上手。

    RobustMIA說明文件和視訊教程

    0 3

    支持使用者上傳私有數據

    不同於其他模型穩定性評估產品只能使用特定的數據進行測試,RobustMIA允許使用者自由上傳數據,更加精確地評估模型的穩定性。

    然而,您是否擔心上傳私有數據存在風險?

    無需有這種顧慮,平台承諾:測試結束後立即刪除上傳的模型檔和數據檔,實作 「測後即焚」

    0 4

    視覺化界面豐富

    RobustMIA設計的測試結果頁,從多個維度展現模型的穩定性:

    ① 測試分數 :平台對模型穩定性的整體量化評分;

    ② 雷達圖 :平台對模型不同攻擊方法的得分統計;

    ③ 散點擬合圖 :模型受到 不同攻擊方法的 輸出結果。

    使用者可以一鍵生成測試報告,以便隨時查閱。此外,RobustMIA還針對每種任務各設定一個排行榜,支持各使用者「同台競技」。

    RobustMIA測試分數、雷達圖、散點擬合圖

    RobustMIA分數排行榜

    0 5

    測試分數權威可靠

    RobustMIA內測了近百個經典模型在分類、分割和檢測任務的穩定性強弱,透過對照實驗驗證了RobustMIA 的有效性。

    RobustMIA內部部份模型測試分數

    看了上述介紹

    是不是迫切想要知曉自己模型的穩定性呢?下面演示RobustMIA具體操作流程。

    ① 進入RobustMIA網址: https://robustmia.com

    RobustMIA首頁

    ② 點選右上角「登入」按鈕,掃碼關註公眾號獲取驗證碼進行登入。

    登入

    ③ 進入測試選擇模型型別並上傳模型、數據檔(模型檔的樣版從使用指南中下載)。

    上傳檔

    ④ 開始測試,使用者即時檢視測試行程。

    RobustMIA測試過程

    ⑤ 測試完畢,結果頁視覺化模型的穩定性。

    RobustMIA結果頁

    RobustMIA團隊為新使用者準備以下福利

    1.註冊成為新使用者,透過問卷,即可獲得美團5元優惠券。

    2.送出模型,成功測試生成模型穩定性分數,並分享測試報告,即可獲得美團10元優惠券。

    💪 怎麽樣,這個既可以測試模型穩定性,又可以領取獎品的醫學影像AI穩定性測試平台RobustMIA是不是讓您狠狠心動了呢。即刻體驗與試用吧!

    RobustMIA網址

    https://robustmia.com

    RobustMIA視訊教程:

    https://www.bilibili.com/video/BV16N4y1b73d


    團隊介紹


    RobustMIA 由深圳大學醫學部醫學超聲計算實驗室(Medical Ultrasound Image Computing Lab, MUSIC)的倪東教授和楊鑫助理教授等帶隊研發。 團隊成員超過10人,歷時近一年,目前仍在全力進行大振幅的最佳化。自研發初期起,RobustMIA一直專註於解決醫學影像AI領域長期存在的安全問題,不斷推動醫學影像AI基礎建設。RobustMIA承諾持續進行更新和最佳化,追求創造醫學影像AI更為安全的未來。


    團隊成員