微软Azure AI Studio推出创新安全功能,助力开发人员打造安全可靠的AI聊天助手。
微软公司在最新博客文章中宣布,其Azure AI Studio正在集成新安全功能,以防止AI聊天机器人(300024)受到欺骗和不当操作。这些功能包括“提示词防护盾”,旨在识别并阻止恶意的“提示词攻击”或“越狱”行为。
此外,微软还解决了“间接提示词输入”问题,防止黑客通过在训练数据中植入恶意指令,诱使AI模型执行非法操作,如窃取用户信息或劫持系统。微软首席产品官Sarah Bird表示,此类攻击构成独特挑战和威胁。
为了应对这一挑战,微软推出的新功能可以发现可疑输入,并实时阻止,同时在AI模型编造内容或产生错误反应时提醒用户。这将有助于提升AI聊天助手的安全性和可靠性,为用户提供更优质的互动体验。
最新评论