首页 家电百科 实时讯息 常识
当前位置: 首页 > 实时讯息 >

“一本正经胡说八道”:AI幻觉到底有多可怕?

0次浏览     发布时间:2025-04-01 19:51:00    

中新网北京4月1日电(记者 吴涛)在享受AI带来便捷的同时,你是否发现这个问题挥之不去——AI幻觉,一种“看似真实、实则虚构”的内容生成现象,正渗透进我们的生活。它到底是通往更强大智能的阵痛,还是技术发展的“魔性副产物”?未来,AI幻觉能否为我所用?

幻觉乱象,层出不穷

AI大模型固然“聪明”,但在“胡说八道”方面也毫不逊色。虚构引用、杜撰人物、逻辑混乱,在与AI的互动中屡见不鲜。

例如,它会引用一篇根本不存在的“2023年哈佛研究”;或者,为并不存在的“诺贝尔物理学奖得主约翰·史密斯”编织一段“量子物理贡献”的叙述。有时候,它甚至会在你一再否认其内容后“动摇立场”,反复修改说法。

中新网记者在测试中还发现,AI模型在面对较为复杂的推理问题时,可能“宕机”或自相矛盾。而当你编造出一个根本不存在的概念,比如“高数几何睡眠法”,它也会一本正经地回答:“这是一种将睡眠科学与高等数学相结合的个性化学习策略……”——说得头头是道。

某大模型截图。

当中新网记者输入自己的名字请AI大模型进行介绍,还出现了一名乍看上去完全合理,但其实完全不存在的人,可以说除了“记者”是真的,其他全是假的。

AI大模型介绍的记者身份,职业生涯背景等均为虚构。

技术问题,还是认知演进?

“AI幻觉就是生成看起来像真的一样的虚假信息。”互联网行业从业者、58同城CEO姚劲波接受中新网采访认为,它当然需要治理,但现阶段还未构成决定性风险。“互联网发展这么多年,虚假信息仍然很多,没有被彻底消除,但网友的识别能力也越来越高。我认为AI领域也一样,随着用户教育的积累,越来越多的网友自己可以分辨出AI幻觉。”

不过,并非所有从业者都如此乐观。科大讯飞董事长刘庆峰曾指出,生成式AI的幻觉问题不仅关乎内容真假,更可能形成算法偏差的恶性循环——虚假内容被AI再次学习、放大,反复再生产。

但值得注意的是,AI幻觉在部分场景中却意外成了创作“灵感来源”。游戏开发、动漫设计、小说创作等领域,恰恰欢迎那种“不合常理”的奇思妙想。比如AI生成的创意图片不少是违反自然规律的,但这不影响创意图的效果。

一位不愿具名的开源大模型社区负责人坦言:“今年的大模型比往年更好,就是因为产生了一部分想象力的创作。”

治理AI幻觉,路径几何?

如何治理AI幻觉?技术手段正在快速跟进。一方面,企业正在为大模型接入权威知识库或实时搜索能力,使其答案更具事实依据;另一方面,“标注AI生成内容”也成为监管部门推动的方向。

上述开源大模型社区负责人就表示,AI大模型如今引入联网搜索,各个平台也在用算法和工程解决一部分幻觉问题。

中国工程院院士张亚勤近日表示,幻觉在横向模型里会越来越少,但是它不会消失,这是生成式AI的特点。要消失的话,一定需要具体到某个行业时,用更精准的数据和更精准的模型结合起来,才会达到效果。

多位科技领域企业家也提出了相应对策。360集团创始人周鸿祎强调企业模型需对接专有知识库进行校正,刘庆峰则建议,要定期清理模型中的“幻觉数据”。

零一万物CEO李开复则认为,“联网搜索能力”是降低AI幻觉的关键路径,但现实操作中并不轻松。每个企业都有自己的数据库、CRM、ERP系统,联网不是难,而是难以实时、完整。这方面还需继续突破。

政策层面也已展开行动。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》)。

《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。

国家互联网信息办公室有关负责人介绍,《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。(完)

相关文章
AI时代,OceanBase如何打造新时代数据底座?

AI时代,OceanBase如何打造新时代数据底座?

(文/陈济深 编辑/张广凯) 随着AI时代的不断发展进化,卷算力、拼算法已经让大模型厂家拼得头破血流。然而,想要让AI变得更强,算法,算力和数据三要素上,数据反而更容易是成为短板的要素。 蚂蚁旗下的OceanBase,找到了自己在AI时代的用武之地。 相比过去传统标量数据库,AI时代尤其是多模态大模

一个月倒计时!重庆直辖28周年无人机灯光秀将震撼上新

一个月倒计时!重庆直辖28周年无人机灯光秀将震撼上新

5月18日晚,“外媒看中国”重庆站活动在重庆市规划展览馆盛大举行,包括来自美国、英国、法国等国外媒体在内的40余名中外记者,共同见证了“魅力重庆 长安同行”无人机灯光秀展演带来的视觉盛宴。它不仅是一场全球首发的大型城市无人机常态化表演,更是新重庆向世界发出的璀璨邀请。据了解,在今年6月18日重庆直辖

消费新观察|传古承今,博物馆文创消费热潮涌

消费新观察|传古承今,博物馆文创消费热潮涌

央广网广州5月18日消息(记者张顺鹏 实习记者熊昊 陈宇婷)“很新奇!很特别!”“非常逼真!看着很震撼!”在广东省博物馆内,一只在网络上“火出圈”的广宁玉雕“白切鸡”,吸引着络绎不绝的游客前来“打卡”。而在博物馆的文创商店,冰箱贴、钥匙扣等一系列融入岭南传统文化元素的文创产品,则让游客们有机会将展品

今年新增29种本科专业!报志愿必备→

今年新增29种本科专业!报志愿必备→

每年5月的第二个星期日 是母亲节 母亲节只是五月中的一天而母亲的爱却是岁岁年年谁言寸草心,报得三春晖我们的母亲总是以爱给予我们关怀总是以仁慈给予我们宽容她的爱是清晨餐桌上温热的粥是深夜书桌旁不灭的灯是风雨里为你撑起的伞更是藏在唠叨里的牵挂她用微笑给予我们一个心灵的春天在这个特别的日子里我们致敬母爱

集体下架!抖音、淘宝、快手接连公告

集体下架!抖音、淘宝、快手接连公告

5月9日,抖音、淘宝、快手平台发布公告,拦截、下架一批违规微短剧。抖音5月9日,“抖音短剧”公众号发布《抖音关于打击违规微短剧的公告》称,抖音致力于打造积极、开放、友善的社区环境,持续推进微短剧内容治理,鼓励和推广优质微短剧,持续对含有不良价值观导向、违反公序良俗、低俗“擦边”等违规内容的微短剧,以

没有他们,中国戏剧史几乎缺了一半——看原创音乐话剧《戏剧不戏剧》

没有他们,中国戏剧史几乎缺了一半——看原创音乐话剧《戏剧不戏剧》

由上戏出品、上海文化发展基金会资助的大型原创音乐话剧《戏剧不戏剧》,日前在上戏实验剧院上演。该剧揭开了当下文化界与娱乐圈之间,价值取向的落差——亦即是精神引领还是物质追求的灵魂拷问。一部上海戏剧学院的校史,相当于半部中国戏剧乃至影视史。如果没有上海戏剧学院创院艺术家和教育家——熊佛西、顾毓琇、吴仞之

实地探访地坛公园:有网友坐高铁来打卡“余华铁生友谊树”

实地探访地坛公园:有网友坐高铁来打卡“余华铁生友谊树”

新京报讯(记者陈琳)近日,北京地坛公园两棵国槐树因认养人分别是“余华和铁生”,认养期限已到期,网友纷纷向余华催“续费”而登上热搜。今天(5月7日),新京报记者致电作家余华得知,这两棵国槐树并非余华本人认养,但这并不影响它们迅速成为地坛公园的网红打卡点。记者现场走访看到,有不少网友从外地坐高铁赶来“打

年轻人用3个月“爆改”乡村,这里成了杭州版“去有风的地方”

年轻人用3个月“爆改”乡村,这里成了杭州版“去有风的地方”

潮新闻客户端 记者 方力 实习生 柳明烨 通讯员 陆雨婷你能想象吗,眼前的浪漫法式乡村农场,3个月前还是一处荒置养殖场。这个五一假期,杭州双浦镇老沙社区,开业不久的樱樱花园农场吸引许多年轻人打卡。年初,90后设计师蒋玲青租下这10亩地,花3个多月“爆改”,现在农场已经成了社区里的时尚新地标。视频由受