微软发布【Copilot for Security 的随机对照试验研究报告】，通过随机对照试验，证明了AI驱动的安全解决方案在提升效率和准确率方面的卓越表现，无论是资深专家还是新手，Copilot for Security都能显著加速并优化安全任务的处理。随着网络安全挑战日益严峻，Copilot for Security 的出现为安全团队带来了更多高效科学的工作模式，为所有安全从业者提供了强大的支持。
近期，微软研究团队执行了一组随机对照试验(RCTs)，旨在评估 Copilot for Security 在提高工作效率和质量方面的效果。外部实验参与者通过登录到 Microsoft Defender XDR环境，通过完成以下四项核心任务，以产生研究所需的数据：
这些功能通过集成到微软安全产品组合中的产品，如Microsoft Defender XDR、Microsoft Sentinel 和 Intune 等，以及其他第三方服务如 ServiceNow 等，来无缝提供支持。通过使用特定于安全的插件作为数据点来源，安全专业人员可以更广泛地了解威胁并获得更多上下文，有机会扩展解决方案的功能。
为了更为全面地了解Copilot for Security为安全运营人员带来的效益，本次调研报告兼顾资深安全专家与初级安全人员两大群体。
洞察一：
准确率和质量双双提升
在整体任务和脚本分析任务中，使用Copilot for Security的资深安全专家及安全新手们都取得了明显准确率提升。
关于提高准确率和质量的研究发现
洞察二：
任务处理速度提高20%以上
Copilot for Security为网络安全工作人员都带来了显著的任务处理速度提升，无论是资深安全专家、还是安全新手测试者，在使用后均提升了超过20%的处理速度。
保持准确性/质量不变，Copilot for Security
用户在 各任务上的时间节省情况如下
洞察三：
超90%的用户希望下次继续使用 Copilot for Security
体验过Copilot for Security的用户，普遍对其给予了高度认可。我们向他们展示了一系列陈述，并让他们表达从完全不同意（得分为0）到完全同意（得分为100）的认可程度。结果显示，所有用户的评分均越过了80分的基准线，具体数值如下方第一列所示。超过80%的用户明确表达了他们的普遍赞同（高于50分），如第二列所示。
情感倾向反馈
对安全领域的启示
◉ 安全新手获益显著 ：Copilot for Security能显著提升新手在安全任务上的准确率，帮助他们高效完成任务。此外企业安全团队也可以将Copilot for Security更广泛地用于安全人员培训和日常业务，以迅速提升整个安全团队的整体技术水平和安全实践能力。
◉ 安全专家效率提升 ：由于经验更加丰富，资深安全专家能够借助自己拥有的丰富知识和经验进行决断，但由于Copilot for Security具有人类无法比拟的速度和规模优势，使用Copilot for Security显著提高了他们的工作速度。
◉ 适用性广泛 ：无论新手或专家，Copilot for Security都能在一定程度上提升他们的工作效率，具有普适性。
点击文末 「阅读原文」 ，领取 【Microsoft 安全 Copilot：适时而生的得力工具 】 白皮书， 为你开启更高效的安全工作方式。
[1] 在本节及其针对安全新手的对应部分中，我们的分析范围限定为那些真正努力的用户，排除了在多项选择题中得分低于随机猜测水平的受试者。
[2] 在整个分析过程中，我们使用*来表示P值小于0.10时的统计显著性，用**来表示P值小于0.05时的显著性。
[3] 本节对2023年11月的方案进行了修订，优化了数据清理标准和LLM作文评分问题。虽然具体数值有变，但整体结论未变。
点亮在看，给BUG点好看
