"微软Azure AI平台增强安全功能：捕获客户AI应用中的幻觉"

微软Azure AI平台添加新安全功能，旨在帮助捕捉客户AI应用中的幻觉、提示攻击和其他安全漏洞。该添加的功能由微软首席负责人Sarah Bird介绍，并被表示将易于使用，无需雇佣红队来测试构建的AI服务。

提示屏蔽、基于AI检测和安全评估

这些安全功能被分为三个主要部分，分别为：提示屏蔽、基于AI检测和安全评估，现已在Azure AI上提供预览。无论用户是输入提示还是模型正在处理第三方数据，监控系统都将对其进行评估，以查看是否触发任何禁止的词语或隐藏提示，然后再决定是否将其发送给模型进行回答。之后，系统将查看模型的响应，并检查模型是否在文档或提示中产生了不在其中的信息。

函数和特征

这些工具提供了多项功能，如提示和分数，防止用户从Azure AI平台访问不安全的输出。这些工具还可以帮助监控系统管理员、提示屏蔽和基于AI检测。提示屏蔽具有易于查找和启用/禁用给定触发器的特性。管理员可以根据提示，自定义设置，自己和团队访问网站。

当前的仇恨言论或暴力的过滤

人们担心微软和其他公司可能在决定什么对于AI模型是合适或不合适，因此Bird的团队添加了一种方式，让Azure客户切换模型所见和阻止的仇恨言论或暴力的过滤。在未来，Azure的用户还可以获得尝试触发不安全输出的用户报告，使系统管理员能够确定哪些用户是他们自己的红队成员，哪些可能是具有更恶意意图的人。

引导读者评论、关注、点赞和感谢观看

总之，随着人工智能在各个领域的不断发展，安全性和保密性已成为越来越多公司迫切需要解决的问题。而Azure AI平台添加新安全功能，对于减少AI应用中的幻觉、提示攻击和其他安全漏洞起到了非常关键的作用。我们期待未来，Azure可以推出更多的AI安全功能，保障用户在使用AI的过程中更加安全可靠。如果您对此有什么看法或其他相关问题，请在评论区中留下您珍贵的意见，感谢您的观看。

本文链接：https://www.24zzc.com/news/171184711164944.html