微软推出新工具以增强AI模型的安全性
关键要点
微软在其Azure AI Studio中推出了新工具，旨在增强AI模型的安全性。Prompt Shields模型旨在更好地应对提示注入攻击。Groundedness Detection系统能够通过自定义语言模型提高AI幻觉的检测能力。新的AI辅助安全评估和风险监测功能也被引入。尽管这些工具提升了AI模型的可靠性，但专家警告使用AI进行安全评估也可能带来风险。微软根据The Register的报道，在其Azure AI Studio中推出了一系列新工具，以增强AI模型的安全性和可靠性。新的“Prompt Shields”模型，曾被称为Jailbreak Risk Detection，能够更有效地应对提示注入攻击。同时，“Groundedness Detection”系统则通过自定义语言模型，将声称与源文件进行验证，从而改善AI幻觉的检测。
此外，微软还引入了AI辅助的安全评估功能及风险监测工具。这些新工具在评估AI模型的可靠性方面非常有价值，但马里兰大学的Vinu Sankar Sadasivan对此表示谨慎。他是BEAST攻击在大型语言模型中的共同开发者，他认为虽然新工具可以增强安全性，但使用AI进行安全评估的方式也可能成为一种风险。
“虽然安全系统的消息在某些情况下显示出有效，但现有的攻击如BEAST可以快速对AI模型进行对抗性攻击，从而将其破解。尽管对AI系统实施防御是有益的，但我们必须时刻关注它们可能带来的缺陷，”Sadasivan说。
黑洞加速器破解这样的发展正值新的联邦AI安全保障措施推出之际。
