多款AI搜索错误率高达60%,别把AI当权威|合规周报(182期)

2025-03-16 18:19:00 实时讯息

21世纪经济报道记者肖潇 北京报道

每个周日,“合规周报”会盘点最近一周国外人工智能、科技竞争、个人信息保护上值得关注的动态。

本周,我们重点关注一项针对AI搜索准确率问题的最新研究。能检索增强生成(RAG)的大模型一度被认为可以缓解“胡编乱造”的问题,但研究结果显示,AI搜索的错误率依然相当高。此外,我们还关注到多家美国AI巨头“建言献策”,呼吁美国立法允许“合理使用”版权素材;OpenAI Operator 等 AI 智能体成为黑客新武器。

在国内,3·15晚会曝光了“精准获客”产业背后的隐私黑洞、多家平台开始应对AI信息污染与AI谣言。

海外

哥伦比亚大学最新研究显示,AI搜索错误率高达60%

哥伦比亚大学数字新闻研究中心(Tow Center for Digital Journalism)近期对八款 AI 搜索展开研究,包括 ChatGPT Search、Perplexity、Perplexity Pro、Gemini、DeepSeek Search、Grok-2 Search、Grok-3 Search 和 Copilot。

他们的研究方法是从20家新闻机构选取200篇新闻报道,并评估它们是否正确引用了文章内容、来源和原始链接。最终结果分为完全错误、部分错误、正确但不完整、完全正确、拒绝回答五种标签。

研究结果显示:

1、AI 搜索通常不会回答它们无法准确回答的问题,平均来看,六款AI搜索提供的答案有 60% 是不准确的。其中Grok 3 、Gemini的完全错误率高达90%以上,国内的DeepSeek表现中等(完全错误率大约58%)。

2、与免费AI 搜索相比,付费的AI 搜索更不容易拒绝回答,从而会更“自信”地提供错误答案。

3、多个AI 搜索似乎绕过了robots限制协议。

4、AI 搜索会伪造链接,并引用文章在新闻聚合平台的链接(比如雅虎新闻),而不是原始网站。

5、尽管许多新闻媒体与AI 搜索达成了版权合作,但在AI 搜索里的新闻引用仍不准确。

OpenAI 、谷歌呼吁美国立法允许“合理使用”版权素材

在特朗普政府2月25日发起的《AI行动计划》政策提案中,近期,OpenAI 提交一份了建议书,呼吁美国制定版权战略,以“保护美国AI大模型从受版权保护的材料中学习的能力”。 AI 公司可以自由使用受版权保护的材料,训练 AI 模型。

OpenAI 指出,各州已提出 781 多项与 AI 相关的法案,这些法案对国内公司施加了过多的合规要求,阻碍了 AI 公司的创新能力,并削弱了美国企业家可用的训练数据质量。公司建议政府为私营部门提供“法律救济”。

谷歌紧随OpenAI之后,发布政策提案,称“合理使用和文本及数据挖掘例外”对于AI科学创新“至关重要。谷歌同样呼吁将AI公司的“合理使用”权利编入法律,使其能够使用公开数据(包括受版权保护的数据)进行训练,而不受任何限制。

两家公司目前正被多位版权方起诉中。

OpenAI Operator 等 AI 智能体成黑客新武器

3月13日,美国网络安全公司 Symantec 通过一项测试指出,AI 智能体已突破传统工具功能限制,可轻松协助黑客发起钓鱼攻击。

“一年前,当我们介绍人工智能带来的风险时,我们认为虽然当时AI已经被攻击者使用,但它们在很大程度上是被动的,只能协助写一写网络钓鱼材料等任务。”研究人员强调,加入操作能力成为智能体后,AI正从被动辅助转向“主动执行”,成为网络安全的新威胁。

该安全公司选择了一名团队成员发起攻击操作,结果发现,通过简单的提示词修改(prompt engineering),即可绕过OpenAI智能体 Operator的安全显示,编写恶意代码、向攻击目标发送钓鱼邮件。

个人信息保护

315曝光“精准获客”产业的隐私黑洞

央视3·15晚会曝光了多家公司依靠信息黑洞疯狂窃取个人隐私。近一年来,互联网上涌现出大量“精准获客”广告,宣称利用大数据技术,可获取目标人群消费习惯、联系方式等信息,帮助商家进行电话营销。

央视财经记者暗访了多家公司,发现其销售的“获客软件”功能惊人。以云企智能科技有限公司的“云客引流”为例,该软件可设定关键词标签,自动扫描短视频平台评论区,抓取相关用户的电话、微信等信息。此外,还能监控同行直播数据,进行截流和引流。

一些公司还利用手机的三网通信大数据进行获客,在一份宣传资料上记者看到,这家公司将个人用户分为9种类型,个人标签达到3800项,网站2亿多,互联网品牌6万个,手机品牌2000种,每日处理数据量达到了100亿条。

AI治理

网信办等四部门正式印发《人工智能生成合成内容标识办法》

3月14日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局发布《人工智能生成合成内容标识办法》(下称《标识办法》),自 2025 年 9 月 1 日起施行。

《标识办法》要求,服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的,应当按照要求对生成合成内容添加显式标识;服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定,在生成合成内容的文件元数据中添加隐式标识;提供网络信息内容传播服务的服务提供者应当采取技术措施,规范生成合成内容传播活动。

多家平台开始应对AI信息污染与AI谣言

3月11日,微博宣布启动治理。微博社区治理官方账号发文称,治理的重点领域是社会民生、突发事件、科普医疗和个人权益,会对不同情况予以处置。

具体而言,如果账号的单条内容由 AI 生成且未主动标识,微博称会主动打标,提示“疑似由 AI 生成”;如果账号有多条AI内容都未标识,会限制流量分发;如果这些内容造成了恶劣影响,则可以禁言乃至封号。

AI谣言泛滥的问题不止微博一家碰到。今日头条在近期的治理开放日透露了一组数据:去年打压了超过93万条低质AI内容,处罚了近3万个利用AI批量发布虚假、低质内容或恶意洗稿、抄袭的账号。与微博的举措类似,今日头条在收严对低质AI内容的审核力度,另外监测AI内容的整体流量占比。

更多内容请下载21财经APP