导航

找一下关于对大模型进行安全测试和渗透的文章或者ppt

2024-11-06
#11
不清楚,大型模型是啥?
2024-11-06
#12
回复 9# kpprotector
安全测试和渗透都是需要漏洞和利用技术为基础的,并没有问题,用魔法打败魔法,用llm去找漏洞
比如真实影响很大的CVE-2024-3271基于llama模型,模型配合数据库sql使用产生的注入漏洞因为语言特性支持导致的ssrf xss 的场景才是大多数
都是构建层的东西能够真正影响到国内的大部分ai应用完成rce,而owap的提示词那些只能说滥用和违规
比如提示词注入出现违禁词对抗自训练下一秒就修复了,人工去对抗显然是不现实的
2024-11-06
#13
现在看到的大模型RedTeam相关的材料总结下来,好像就这么几个方向:
1、传统OWASP TOP 10,重点测试大模型的人机交互界面和大模型对外提供服务的api接口;
2、提示词逃逸:利用大模型干一些不合规的事情,比如黄赌毒、利用大模型发起的攻击
3、数据泄露:通过提示词诱导大模型泄露内部代码和数据。比如大模型控制了不能回答1+1的问题,但是通过输入1+1-1+1这样的等同问题让大模型泄露数据。
除了这些好像没有看到太多的测试方向和方法,如果大家有其他的思路和方向可以进行交流补充
2024-11-06
#14
https://mp.weixin.qq.com/s/X54d0foyBS56lGFUPyOvTw
蚂蚁这个针对大模型沙箱的研究写得挺好
2024-11-07
#15
回复 14# fobug
这个还真可以
2024-11-07
#16
回复 6# anlfi
感谢大佬!
2024-11-12
#17
回复 5# DriverTom
老哥,理解错了,是对大模型本体进行安全测试,不是利用大模型进行安全测试
2024-11-12
#18
回复 6# anlfi
绿盟这个矩阵图好强,注册后发现需要邀请码才能看里面的内容
2024-11-12
#19
回复 13# vulSword
方便分享一下材料么,这三点owasp中都有提到过,想了解一下其他方面的东西,或者一些细节案例
2024-11-13
#20
回复 19# Lucky_ljn
可以看看youtube上,搜LLM Red Team。有挺多视频的