当前位置:cio技术探讨 → 正文

genai模型很容易受到攻击 -凯发在线

责任编辑:cres 作者:d1net编译 |来源:企业网d1net  2024-08-23 14:26:42 原创文章 企业网d1net

根据lakera的报告,95%的网络安全专家对genai的安全措施表示信心不足,同时红队数据表明,任何人都能轻易攻击genai模型。
 
针对genai的特定攻击方法,即提示攻击,任何人都可以轻松利用这些方法来操纵应用程序,获取未经授权的访问权限,窃取机密数据并执行未经授权的操作。意识到这一点,尽管有90%的受访者积极使用或探索genai,但在接受调查的1000名网络安全专家中,只有5%对保护其genai应用的安全措施有信心。
 
lakera首席执行官david haber表示:“只需几句话,即便是初学者也能操纵ai系统,导致意想不到的操作和数据泄露。随着企业越来越依赖genai来加速创新和管理敏感任务,他们无意中暴露在传统网络安全措施无法应对的新漏洞面前。在一个新兴领域内,高采纳率与低准备度的结合可能并不令人惊讶,但风险从未如此之高。”
 
在genai时代,每个人都有可能成为黑客
 
lakera开发的ai教育游戏gandalf吸引了超过一百万名玩家,其中包括试图突破其防御的网络安全专家。令人惊讶的是,其中有20万名玩家成功通过了游戏的七个关卡,展示了他们能够操纵genai模型以执行意外操作的能力。
 
这一点为问题的严重性提供了一个极其有价值的参考。玩家们仅需利用母语和一点创造力,就能在平均45分钟内成功欺骗gandalf的第七关,这一鲜明的例子突显了一个令人不安的事实:如今,每个人都有可能成为黑客,企业需要为genai制定全新的安全策略。
 
前cloudflare、uber和meta(facebook)的首席安全官joe sullivan,也是lakera的顾问,他表示:“由高层推动的genai竞赛使得安全准备工作比以往任何技术演进中的关键时刻都更加重要。genai是一次千载难逢的变革。要发挥其潜力,企业必须考虑到它的挑战,而首当其冲的就是安全风险。为此做好准备并减轻这种风险,是那些率先采用genai的公司目前最重要的任务。”
 
llm(大型语言模型)的可靠性和准确性是采纳的最大障碍
 
35%的受访者担心llm的可靠性和准确性,而34%的受访者关注数据隐私和安全问题。缺乏熟练的人员占了28%的担忧。
 
45%的受访者正在探索genai的使用案例,42%的受访者正在积极使用和实施genai,仅有9%的受访者表示目前没有采用大型语言模型(llms)的计划。
 
只有22%的受访者采用了专门针对ai的威胁建模,以应对genai特有的威胁。
 
各行业在安全措施的准备和采用程度上存在显著差异。例如,金融行业占受访者的8%,在严格的安全实践上表现出更高的倾向性,其中20%的企业拥有专门的ai安全团队,27%的企业将其准备程度评为最高级别(5分中的4分或5分)。
 
相比之下,教育行业占受访者的12%,但只有9%的企业拥有专门的ai安全团队,只有15%的企业将其准备程度评为最高级别。这些对比突显了不同行业面临的紧迫性和监管压力的差异。
 
企业网d1net(www.d1net.com):
 
国内主流的to b it门户,旗下运营国内最大的甲方cio专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个it行业公众号(微信搜索d1net即可关注)。
 
凯发在线的版权声明:本文为企业网d1net编译,转载需在文章开头注明出处为:企业网d1net,如果不注明出处,企业网d1net将保留追究其法律责任的权利。

关键字:凯发在线

原创文章 企业网d1net

x genai模型很容易受到攻击 扫一扫
分享本文到朋友圈
凯发在线
当前位置:cio技术探讨 → 正文

责任编辑:cres 作者:d1net编译 |来源:企业网d1net  2024-08-23 14:26:42 原创文章 企业网d1net

根据lakera的报告,95%的网络安全专家对genai的安全措施表示信心不足,同时红队数据表明,任何人都能轻易攻击genai模型。
 
针对genai的特定攻击方法,即提示攻击,任何人都可以轻松利用这些方法来操纵应用程序,获取未经授权的访问权限,窃取机密数据并执行未经授权的操作。意识到这一点,尽管有90%的受访者积极使用或探索genai,但在接受调查的1000名网络安全专家中,只有5%对保护其genai应用的安全措施有信心。
 
lakera首席执行官david haber表示:“只需几句话,即便是初学者也能操纵ai系统,导致意想不到的操作和数据泄露。随着企业越来越依赖genai来加速创新和管理敏感任务,他们无意中暴露在传统网络安全措施无法应对的新漏洞面前。在一个新兴领域内,高采纳率与低准备度的结合可能并不令人惊讶,但风险从未如此之高。”
 
在genai时代,每个人都有可能成为黑客
 
lakera开发的ai教育游戏gandalf吸引了超过一百万名玩家,其中包括试图突破其防御的网络安全专家。令人惊讶的是,其中有20万名玩家成功通过了游戏的七个关卡,展示了他们能够操纵genai模型以执行意外操作的能力。
 
这一点为问题的严重性提供了一个极其有价值的参考。玩家们仅需利用母语和一点创造力,就能在平均45分钟内成功欺骗gandalf的第七关,这一鲜明的例子突显了一个令人不安的事实:如今,每个人都有可能成为黑客,企业需要为genai制定全新的安全策略。
 
前cloudflare、uber和meta(facebook)的首席安全官joe sullivan,也是lakera的顾问,他表示:“由高层推动的genai竞赛使得安全准备工作比以往任何技术演进中的关键时刻都更加重要。genai是一次千载难逢的变革。要发挥其潜力,企业必须考虑到它的挑战,而首当其冲的就是安全风险。为此做好准备并减轻这种风险,是那些率先采用genai的公司目前最重要的任务。”
 
llm(大型语言模型)的可靠性和准确性是采纳的最大障碍
 
35%的受访者担心llm的可靠性和准确性,而34%的受访者关注数据隐私和安全问题。缺乏熟练的人员占了28%的担忧。
 
45%的受访者正在探索genai的使用案例,42%的受访者正在积极使用和实施genai,仅有9%的受访者表示目前没有采用大型语言模型(llms)的计划。
 
只有22%的受访者采用了专门针对ai的威胁建模,以应对genai特有的威胁。
 
各行业在安全措施的准备和采用程度上存在显著差异。例如,金融行业占受访者的8%,在严格的安全实践上表现出更高的倾向性,其中20%的企业拥有专门的ai安全团队,27%的企业将其准备程度评为最高级别(5分中的4分或5分)。
 
相比之下,教育行业占受访者的12%,但只有9%的企业拥有专门的ai安全团队,只有15%的企业将其准备程度评为最高级别。这些对比突显了不同行业面临的紧迫性和监管压力的差异。
 
企业网d1net(www.d1net.com):
 
国内主流的to b it门户,旗下运营国内最大的甲方cio专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个it行业公众号(微信搜索d1net即可关注)。
 
凯发在线的版权声明:本文为企业网d1net编译,转载需在文章开头注明出处为:企业网d1net,如果不注明出处,企业网d1net将保留追究其法律责任的权利。

关键字:凯发在线

原创文章 企业网d1net

回到顶部
"));
"));

关于凯发在线联系凯发在线隐私条款广告服务凯发在线的友情链接投稿中心凯发在线的招贤纳士

企业网凯发在线的版权所有 ©2010-2024

^
网站地图