当前位置: 欣欣网 > 码农

RobustMIA | 为了医学影像AI更安全的未来

2024-01-25码农

在AI新基建时代,智能化医学影像已成为一种时代趋势。然而,医学影像AI模型在临床开放环境中的安全性仍未得到有效保护,成为一个亟待客观评估和解决的问题。让用户明确知道AI模型的安全运行边界,并据此合理使用AI模型且针对性地增强模型安全性,是 RobustM IA 项目的终极目标。

欢迎大家前来注册并体验RobustMIA, 新用户可以获得美团优惠券 。期待您的体验!

近年来,深度学习在医学影像的研究与应用热度不断攀升。每当有新的深度学习模型涌现,公众的关注焦点往往集中于模型在特定、封闭的医学影像数据集上的性能表现。

Huang et.al, 「Segment Anything Model for Medical Images?」, Medical Image Analysis, 2023.

然而,深度学习模型作为复杂系统,容易受到诸多图像因素的影响,如 图像噪声、灰度畸变、传输损失、对抗扰动等 ,从而表现得异常脆弱、失去安全保障。医学影像AI模型倘若在开放、不可控的临床环境中没有良好的稳定性,那么在其应用将存在巨大的风险隐患!

面临医学影像AI模型安全性,有多个关键问题待解答:医学影像AI模型的安全性如何有效量化评估?用户自己的AI模型是怎样的「六边形战士」?每个医学影像AI模型的安全边界在哪里?如何基于安全边界,不断完善增强模型的安全性?

我们调研了相关评估AI模型稳定性测试的平台,发现当前领域内罕有针对医学影像AI模型稳定性的公开评估系统。因此,团队提出并构建了 首个医学影像AI安全性测试平台 ——RobustMIA(Robust Medical Image Analysis),致力于让医学影像AI模型能「量力而行」、越来越安全。

RobustMIA与现有评估模型稳定性平台的对比

作为首个医学影像AI稳定性测试平台,RobustMIA遵从以下设计理念:

  • 安全攻击方法专业且多样,支持分类/分割/检测,全面评估模型稳定性。

  • AI模型安全性指数客观定量,模型安全能力边界清晰化。

  • RobustMIA分数参考价值高、指向明确,与模型稳定性线性强相关。

  • 采取「测后即焚」宗旨,保护用户测试隐私与资源。

  • AI模型安全指数与排行共享,促进社区发展与繁荣。

  • 接下来,让我们一起来深入了解RobustMIA, 揭开RobustMIA平台的面纱:

    01

    全方位评估模型稳定性

    RobustMIA支持 分类,分割,目标检测 三大常见任务。总共上线 36种 攻击方式用于评估模型稳定性,从基础的图像处理攻击到高阶对抗攻击均有涉及,还针对医学影像使用特定的攻击(散斑噪声、ELD噪声),旨在360°无死角测试模型稳定性。

    RobustMIA内置攻击方式

    0 2

    上手简单易懂

    现有的模型稳定性评估产品交互方式繁杂,部署困难,模型、数据打包要求苛刻,使用起来总有种抓耳挠腮 的感觉。


    但随着RobustMIA面世,这种情况将不复存在!

    RobustMIA平台为用户提供友善的交互方式。平台提供完善的 说明文档 以及录制详细的 视频教程 ,帮助用户轻松上手RobustMIA。此外,为了方便用户上传模型和数据,平台提供相关的代码模板,用户只需简单修改即可上手。

    RobustMIA说明文档和视频教程

    0 3

    支持用户上传私有数据

    不同于其他模型稳定性评估产品只能使用特定的数据进行测试,RobustMIA允许用户自由上传数据,更加精确地评估模型的稳定性。

    然而,您是否担心上传私有数据存在风险?

    无需有这种顾虑,平台承诺:测试结束后立即删除上传的模型文件和数据文件,实现 「测后即焚」

    0 4

    可视化界面丰富

    RobustMIA设计的测试结果页,从多个维度展现模型的稳定性:

    ① 测试分数 :平台对模型稳定性的整体量化评分;

    ② 雷达图 :平台对模型不同攻击方法的得分统计;

    ③ 散点拟合图 :模型受到 不同攻击方法的 输出结果。

    用户可以一键生成测试报告,以便随时查阅。此外,RobustMIA还针对每种任务各设置一个排行榜,支持各用户「同台竞技」。

    RobustMIA测试分数、雷达图、散点拟合图

    RobustMIA分数排行榜

    0 5

    测试分数权威可靠

    RobustMIA内测了近百个经典模型在分类、分割和检测任务的稳定性强弱,通过对照实验验证了RobustMIA 的有效性。

    RobustMIA内部部分模型测试分数

    看了上述介绍

    是不是迫切想要知晓自己模型的稳定性呢?下面演示RobustMIA具体操作流程。

    ① 进入RobustMIA网址: https://robustmia.com

    RobustMIA首页

    ② 点击右上角「登录」按钮,扫码关注公众号获取验证码进行登录。

    登录

    ③ 进入测试选择模型类型并上传模型、数据文件(模型文件的模板从使用指南中下载)。

    上传文件

    ④ 开始测试,用户实时查看测试进程。

    RobustMIA测试过程

    ⑤ 测试完毕,结果页可视化模型的稳定性。

    RobustMIA结果页

    RobustMIA团队为新用户准备以下福利

    1.注册成为新用户,通过问卷,即可获得美团5元优惠券。

    2.提交模型,成功测试生成模型稳定性分数,并分享测试报告,即可获得美团10元优惠券。

    💪 怎么样,这个既可以测试模型稳定性,又可以领取奖品的医学影像AI稳定性测试平台RobustMIA是不是让您狠狠心动了呢。即刻体验与试用吧!

    RobustMIA网址

    https://robustmia.com

    RobustMIA视频教程:

    https://www.bilibili.com/video/BV16N4y1b73d


    团队介绍


    RobustMIA 由深圳大学医学部医学超声计算实验室(Medical Ultrasound Image Computing Lab, MUSIC)的倪东教授和杨鑫助理教授等带队研发。 团队成员超过10人,历时近一年,目前仍在全力进行大幅度的优化。自研发初期起,RobustMIA一直专注于解决医学影像AI领域长期存在的安全问题,不断推动医学影像AI基础建设。RobustMIA承诺持续进行更新和优化,追求创造医学影像AI更为安全的未来。


    团队成员