本周三，包括英国、美国和中国在内的近30个（以及欧盟）在人工智能安全峰会上达成全球性人工智能安全协议，并发布了《人工智能安全宣言》，这标志着人工智能正式进入安全发展的强监管时代。

峰会期间，人工智能意见们就人工智能安全风险的严重性判断产生重大分歧，双方阵营展开激烈辩论。人工智能教父级人物Geoffrey Hinton和Yoshua Bengio认为人工智能存在严重风险，科技公司在人工智能风险问题上撒谎以阻止竞争、规避责任，引发（同时也支持）严格监管。而Andrew NG和Meta首席AI科学家Yann LeCun则认为人工智能风险被夸大，是大型科技公司用来扼杀创新、巩固权力的阴谋论。

特斯拉创始人马斯克并未选择站队，但是在X上发帖讽刺人工智能风险监管和“AI军备竞赛”的矛盾现状：

虽然业界对于人工智能风险级别尚未达成共识，但Forrester Research上周发布的2024年人工智能预测报告为企业安全利用人工智能技术带来了新的视角。该报告为可量化评估的人工智能增长制定了路线，同时警告企业为猖獗的“影子AI”做好准备，因为越来越多的员工开始自行使用人工智能工具来提高工作效率。

Forrester预计，随着企业投资可扩展的解决方案来构建、部署和监控人工智能模型，人工智能平台预算将在2024年增加两倍。然而，Forrester警告称，这不足以满足员工的需求。该报告预测60%的员工将在工作中使用自己的人工智能工具，从而带来新的监管和合规挑战。

Forrester发现，85%的企业通过GPT-J和BERT等开源模型扩展AI功能，而不是仅仅依赖ChatGPT等流行的大语言模型应用。Forrester预计40%的企业将积极投资于人工智能合规治理，领先于欧盟、美国和中国即将出台的更为严苛的监管法规。

人工智能进入效用时代

在创新方面，Forrester预测2024年将会有大型保险公司开始提供人工智能“幻觉保险”，承保由人工智能错误（AI幻觉）造成的损失和伤害。

Forrester警告企业在制定人工智能应用战略时不要被炒作和“娱乐”分散注意力。

Forrester认为，2024年是“人工智能效用时代”的开始，人工智能技术将从企业的研发缓解转移到生产环境的商业应用中。

“毫无疑问，2023年将被称为人工智能年，因为我们看到了生成式人工智能消费化的兴起。发布了大量有关合并、收购、企业超高估值以及超大规模风险投资和内部投资的公告。”Forrester的分析师团队在报告中表示。

报告补充道：“我们预测，2024年将激励企业团队积极主动，制定有意义的人工智能战略，并兑现人工智能承诺，同时密切关注法规和新风险。”

Forrester对2024年人工智能安全发展的十大预测

1. 60%的员工会在工作中使用自己的人工智能工具，从而产生安全风险。
2. 随着企业对人工智能功能的需求激增，人工智能平台的预算将增加两倍。
3. 85%的公司将把开源人工智能模型纳入其技术堆栈中。
4. 40%的企业将主动投资人工智能治理以实现合规性。
5. 保险公司将开始提供涵盖人工智能错误的“人工智能幻觉保险”。
6. 随着采用率的激增，生成式人工智能从2023年到2030年的复合年增长率将达到36%。
7. 企业将把人工智能从研发转移到生产业务应用。
8. 人工智能战略将侧重于管理影子AI使用和价值创造。
9. 科技感受到来自员工和高管采用人工智能（BYOIA）的压力。
10. 2024年，随着炒作让位于实用主义，“人工智能效用时代”将开启。

Forrester强调制定针对性人工智能战略的必要性，认为企业在扩大人工智能应用时必须主动应对风险，而不是被动合规，因为全球监管格局正处于高度动态发展中。

正如四大会计师事务所之一的安永在《人工智能全球监管格局报告》中指出的，全球性的人工智能监管环境中仍然存在分歧和挑战。欧盟在全球范围内采取了积极主动的立场，提出了一项全面的人工智能法案，对生物识别或关键基础设施等高风险人工智能用途提出强制性要求。中国也表现出了监管人工智能的较强意愿，例如内容推荐或面部识别。相对而言，美国采取了温和的做法，重点关注自愿性行业指导和针对具体行业的规则。