Stealing Large Language Models: 关于对ChatGPT进行模型窃取的一些工作
很高兴能和大家分享我们组关于针对 GPT 3.5 等 ChatGPT 背后的模型窃取（Model imitation attack/ Model extraction attack）的一些研究成果，目前我们已经将文章开源到了 arvix 上，大家有兴趣的可以访问， 简单来讲，我们首次对在黑盒条件下的大模型窃取做了一系列的研究，发现通过较小模型可以在特定代码相关的任务上逼近甚至超过大模型的能力。
论文标题：
论文链接：
我们研究的意义在于：我们指出了用中等规模的模型去部分窃取大模型在特定任务上的性能是可行的，为无法承担训练超大模型的公司/个人提供了解决方案，同时也对未来模型保护提供了一些见解。
写在前面
为啥要做 ChatGPT 的模型窃取？
原因有二：
1. OpenAI 并没有开源自己的模型。作为 OpenAI 的知识产权，这是他们能向公众收费的基石，但是同时也让这件事看上去没有那么公平。
2. 大模型的训练成本已经达到了无法承担的地步。几百张，几千张卡对于大部分中小公司和个人来讲，都是可望而不可即的。
背景介绍
▲ Specializing Smaller Language Models towards Multi-Step Reasoning
1. 灰盒攻击：这种攻击往往有预先的假定，例如数据的分布情况，模型的架构等等；
1. 窃取对象不同: 我们专注于用中等规模的模型去窃取大模型的部分能力，而大部分工作的 victim 和 imitation model 是相近规模的；
2. 任务不同：以往工作 [3,4] 往往关注图像分类等分类任务，针对生成任务的仅有机器翻译以及 reasoning tasks；
攻击目标
1. 通过窃取到的中等模型在任务表现上接近或者超过原有大模型；
攻击方法
实验结果
在相同的训练能力下，窃取模型的性能超过了 baseline，并随着 query 次数的增加而不断提高。然而，攻击者需要平衡成本和性能，以避免边际效应。
OpenAI 采样超参数对查询结果没有太大影响，重要的是 query 的数量。我们建议在上下文学习中使用三个例子，以保持其在合理成本下的有效性。
一些声明
参考文献
[1] Wei, Jason, et al. "Emergent abilities of large language models."arXiv preprint arXiv:2206.07682(2022).
[2] Fu, Yao, et al. "Specializing Smaller Language Models towards Multi-Step Reasoning."arXiv preprint arXiv:2301.12726(2023).
[3] Wallace, Eric, Mitchell Stern, and Dawn Song. "Imitation attacks and defenses for black-box machine translation systems."arXiv preprint arXiv:2004.15015(2020).
[4] Orekondy, Tribhuvanesh, Bernt Schiele, and Mario Fritz. "Knockoff nets: Stealing functionality of black-box models."Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧