AI安全赛道：一大波初创公司正在涌入
关键讯息，第一时间送达！
在追赶生成式人工智能的竞赛中，每个企业都面临着一个共同的问题：安全。
目前，处于人工智能堆栈核心的AI模型尤其令人担忧。它们需要大量敏感的企业数据，采用难以控制的自学习，并部署在会引入人为错误的环境中。与此同时，网络犯罪分子以前所未有的速度制造新威胁。人工智能的普及增加了易受网络攻击的表面积，大型语言模型成为了一个吸引人的目标。
使用当前的工具保护这些模型是不可能的，因此，企业在做决策的时候有很大的顾虑，Menlo Venture的一份有关企业采用生成式人工智能的报告证实了这一点。
于是，挑战和机遇激发了一波安全创新，网络安全和人工智能专家正在联手解决这些挑战。我们已经在治理、可观察性和安全方面看到了巨大机会，下图是海外的一些初创公司的市场地图：
治理解决方案：如Cranium和Credo帮助组织创建内部或者第三方的AI服务、工具和所有者的目录，它们根据安全措施和风险评估打分帮助评估业务风险。了解组织内的AI使用情况是观察和保护大型语言模型的第一步。
可观察性工具：无论是用于模型监控的广泛工具，如Helicone，还是用于安全用例的特定工具，如CalypsoAI，都可以帮助组织汇总访问、输入和输出的日志，以便检测滥用并提供解决方案堆栈的完整审计。
安全解决方案：目前侧重于在模型构建和使用中提供信任边界。对于内部和外部模型，模型使用边界都需要严格控制。
像Robust Intelligence、Lakera和Prompt Security这样的AI防火墙提供商，它们调节输入和输出的有效性，防范提示注入，并检测PII/敏感数据。
像Private AI和Nightfall这样的公司帮助组织识别和剔除输入和输出中的PII数据。
像Lakera和Adversa这样的公司旨在自动化红队行动，以帮助组织调查其防护栏的健壮性，以持续监控对大型语言模型的威胁和攻击的影响。
威胁检测和响应解决方案，如Hiddenlayer和Lasso Security，致力于检测攻击大型语言模型的异常和潜在恶意行为。
现在，有许多构建模型的方法，从采购第三方模型到微调或训练自己的定制化模型。进行微调或自建大型语言模型的人必须向模型提供大量的业务/专有数据，这些数据可能包含诸如财务数据、医疗记录或用户日志数据等敏感信息。像DynamoFL和FedML这样的联邦学习解决方案通过在本地数据样本上训练本地模型而无需集中和交换数据，只交换参数来满足安全需求。Tonic和Gretel也可以通过生成合成数据来解决这个问题，以消除向大型语言模型提供敏感数据的担忧。
当公司构建在可能有数千个漏洞的开源模型之上时，Protect AI提供的预生产代码扫描解决方案至关重要。
值得注意的是，这个领域的发展速度比以往任何时候都要快。虽然公司可能在一个领域进入市场（例如，开始构建人工智能防火墙），但它们很快会将其功能集扩展到其他的市场（例如，到DLP、漏洞扫描、可观察性等）。
当然，国内与海外市场和商业模式存在着非常大的差异，以上资料仅供参考。但是我相信有很多需求是普遍存在的，以什么样的形式呈现将会非常值得我们去思考和探索。
参考资料：Security for AI: The New Wave of Startups Racing to Secure the AI Stack - Menlo Ventures (menlovc.com)