攻击方面:具备生成可用于网络攻击的脚本、钓鱼邮件的能力,也能被用来解密一些较易解密的加密数据。然而,的能力仍不能达到或超越具有专业知识和经验的真人黑客,其起到的作用主要是提高黑客的攻击效率。随着内容安全策略的进一步强化,作为攻击武器辅助网络攻击的门槛也会进一步提高。因此相关影响在总体上来说仍处于一个可控范围。在未来,伴随AI生成内容检测技术的发展与自身内容安全策略的演进,武器化造成的不良影响将被进一步压缩。
安全隐私方面:AI应用一般面临的投毒攻击、闪避攻击、推理攻击、模型提取等攻击目前仍未见到在上成功的案例。然而,的高度“智能化”也导致其存在自己独特的安全问题:提示注入。通过提示注入,用户可以绕过设置的内容安全策略,从而对进行滥用。在辅助编程这一应用场景上,的应用可能也存在一定的安全隐患,生成的代码可能含有可被利用的已知安全漏洞。对于企业来说,虽然员工使用能够在一些工作上一定程度地提高效率,但由于并没有通过技术手段保障用户数据安全,且会对用户输入进行分析,故对于敏感信息一定要严格保护。
社会影响方面:输出的文本取决于训练语料与其概率分布。故并没有真正的道德观与价值观,在一些涉及价值观、情感的问题上,输出的内容可能会造成非正向的社会影响。对于教育、内容创作等领域,滥用最终还可能会导致劣币驱逐良币。需要通过技术手段对在一些具体场景的使用进行管控与限制。
赋能产品方面:对于网络安全产品的人机交互能够起到明显的推进作用,并且能够用来辅助执行一些网络安全任务。虽然在实际落地到网络安全产品的过程中仍存在许多挑战。
安全问题永远是说不完的话题,任何软件和应用都存在。
对某些企业利用生成代码,我敢说,100%存在安全隐患,一旦被利用,损失你们都懂得。
再说国内的企业一般都不可能投入大量的精力和成本投入安全,出现了就找人背锅。