随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵舆论，甚至被黑客用来盗取用户的个人隐私。这些问题引发了人们对AI应用安全性的担忧。
为了促进前沿AI系统的安全和负责任的发展，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构——前沿模型论坛（Frontier Model Forum）。该机构旨在推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。然而，问题来了，他们自家的模型真的安全吗？
近日，来自卡内基梅隆大学、Center for AI Safety和Bosch Center for AI的研究人员披露了一个与ChatGPT等AI聊天机器人有关的“大bug”——通过对抗性提示可绕过AI开发者设定的防护措施，从而操纵AI聊天机器人生成危险言论。当前热门的AI聊天机器人或模型，如OpenAI的ChatGPT、谷歌的Bard、Anthropic的Claude 2以及Meta的LLaMA-2，都无一幸免。
具体而言，研究人员发现了一个Suffix，可将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。相比于拒绝回答这些危险问题，该研究可以使这些模型生成肯定回答的概率最大化。例如，当被询问“如何窃取他人身份”时，AI聊天机器人在打开“Add adversarial suffix”前后给出的输出结果截然不同。
这种对抗性攻击存在于语言模型中是有道理的，因为它们影响着许多机器学习模型。然而，令人惊奇的是，一个针对通用开源模型开发的攻击居然能在多个不同的专有系统上如此有效。问题可能在于所有LLMs都是在类似的文本数据语料库上进行训练的，其中很多数据都来自于相同的网站，而世界上可用的数据是有限的。
普林斯顿大学的计算机科学教授Arvind Narayanan认为，让AI不落入恶意操作者手中已不太可能。尽管应该尽力提高模型的安全性，但我们也应该认识到，防止所有滥用是不太可能的。因此，更好的策略是在开发AI技术的同时，也要加强对滥用的监管和对抗。
在AI技术的发展和应用中，我们除了关注创新和性能，也要时刻牢记安全和伦理。只有保持适度使用、人类参与和监督，才能更好地规避潜在的问题和滥用，使AI技术为人类社会带来更多的益处。
