1. 创业头条
  2. 前沿领域
  3. AI智能
  4. 正文

别让DeepSeek成了造谣者的“白手套”

 2025-03-07 15:26  来源:A5专栏  我来投稿 撤稿纠错

  阿里云优惠券 先领券再下单

今年2月,一位普通股民在雪球论坛看到一张AI问答截图:“某公司已投资AI巨头DeepSeek,股价即将暴涨!”

对于在股市中摸爬滚打、渴望抓住每一个投资机会的股民来说,这无疑是一条极具诱惑的消息。他坚信截图中的内容,并且兴奋地跟风买入,结果次日发现该公司辟谣,股价反而下跌,自己遭受沉重一击。

这样的事情并非个例,从“某公司投资DeepSeek”到“凉山山体滑坡”,AI生成的虚假信息正以病毒式速度扩散,这背后存在一条由黑灰产操控的“AI谣言流水线”。

在股市里,有一种造谣者被称为“黑嘴”。他们发布虚假信息,引诱投资者上钩,通过养粉荐股后的反向操作收割机构或个人。

现在不少领域的“黑嘴”,就将DeepSeek、豆包等AI工具当做“白手套”。他们利用AI技术的短板,制造谣言并将其包装成“权威答案”,再通过算法反哺形成闭环,最终收割流量与利益。

第一批用DeepSeek掘金的人,已经在这上面栽了跟头。

AI沦为造谣者的“嘴替”

很多虚假信息的背后,是造谣者在有组织、有计划地进行AI造谣。

此前在DeepSeek、豆包、文心一言、Kimi等AI工具的问答中,慈星股份、华胜天成、并行科技、诚迈科技等多家公司都被描述为“DeepSeek的投资者”,但事实上这些公司都没有参与投资。

为什么会出现与事实背离的情况?这跟数据投喂有直接关系。

隐藏在网络背后的造谣者,会利用AI批量生产谣言,比如“慈星股份投资了DeepSeek”等等,堪称流水线上的“谎言印刷机”。而且造谣者的“效率”非常高,有人一天就能制造几千篇虚假文章,甚至还出现了一天生成19万篇虚假文章的造假软件。

然后,造谣者会操控成百上千个水军账号,在多个线上平台高频传播这些造谣信息。他们的最终目的,是让AI援引大量的虚假信息,充当自己的嘴替。

所以,很多人就会看到AI工具援引虚假信源,给出了错误答案。本来有些人对谣言是将信将疑,但看到AI给出的答案后坚信不疑,此时就落入了造谣者制造的圈套,从而栽了跟头。有人就因为看到AI回答中有“某某投资品有潜力”等信息,误以为发现了财富密码,结果被割了韭菜。

最可怕的是,造谣者还会将AI给出的回答,再以截图形式继续传播扩散,以诱导欺骗更多人。所以这些AI谣言并非单次传播,而是“谣言—AI回答—更多谣言”的循环。这种自我强化的闭环,让谣言像癌细胞般无限增殖。

据南都大数据研究院不完全统计,2024年搜索热度较高的50个国内AI风险相关舆情案例中,超1/5与AI造谣有关,68%的网民曾因AI生成的“专家解读”“权威数据”而误信谣言。

一名受访者苦笑:“以前不信小道消息,现在连AI都撒谎,我们还能信谁?”

AI谣言带来的破坏力是巨大的,且不限于资本市场。

前不久,“广州法院对某汽车品牌L3级自动驾驶追尾事故作出首例判决”的谣言全网传播,就对该品牌的声誉和销售造成打击,损害企业利益。

在发生公共安全事故时,有人故意制造AI谣言扰乱视听。这不仅会干扰救援节奏,还容易引发民众恐慌。当造谣者通过收割流量,社会付出的代价其实是信任的崩塌与秩序的混乱。

AI谣言带来的危害还是全球性的,世界经济论坛发布的《2025年全球风险报告》显示,“错误和虚假信息”是2025年全球面临的五大风险之一,AI的滥用是这种风险的重要推手。

那么,AI究竟是如何沦为造谣者的“嘴替”呢?

AI如何沦为造谣者的“嘴替”?

虽然AI现在火的发紫,更新换代也非常快,但是仍然存在不少短板。

其中,较为突出的问题就是语料污染与AI幻觉。

AI大模型的训练依赖海量数据,但数据的真实性却无人担保。中国信通院曾做过实验,当在特定论坛连续发布百余条虚假信息后,主流AI大模型对对标问题的回答置信度,就会从百分之十几快速飙升。

前不久,纽约大学的研究团队发表了一项研究,揭示了大语言模型(LLM)在数据训练中的脆弱性。他们发现,即使是极少量的虚假信息,只需占训练数据的0.001%,就能导致整个模型出现重大错误,而这个过程的成本极其低廉,仅花费了5美元。

这就像在水库中注入几滴毒药,就能让水库里的每一滴水都带着谎言的味道,信息体系都会被破坏,堪称污染AI的“精神投毒”。

这其实暴露了AI的致命缺陷:它很难区分“热门帖子”和“真实信息”,只认数据权重。它像一面诚实的镜子,但映射的可能是被篡改的世界。

有的AI为了完成逻辑自洽,甚至还会胡编乱造。

某AI工具就根据“80后死亡率5.2%”的虚假语料,输出“每20个80后就有1人死亡”的结论。这种“一本正经地胡说八道”,源于AI大语言模型在编造它认为真实存在甚至看起来合理的信息。它追求的是逻辑自洽,而非事实正确,这也被称为“AI幻觉”。

看来在“开局一张图,剩下全靠编”这件事上,AI比人类还擅长。

技术是否有罪本身是个有争议的话题,但人性的贪婪一定是AI谣言的罪魁祸首。

传统造谣需要雇佣写手,而AI将成本压缩至近乎为零且效率极高,利益极为丰厚。2024年南昌警方查处某MCN机构,其负责人王某某通过AI工具每日生成虚假文章4000-7000篇,内容涵盖“某公司暴雷”“某地灾情”等,最高峰的时候每天能生成4000-7000篇,每天收入超1万元。

某黑产从业者声称:“用AI造谣就像开印钞机,团队3个人一个月能赚50万。”更讽刺的是,他们甚至开发了“谣言KPI系统”:每篇假新闻根据传播量奖励造谣者,形成“多劳多得”的激励机制。

在利益的趋势和AI的加持下,造谣似乎从“作坊式的小打小闹”进化成“工业化生产”。

尽管《互联网信息服务深度合成管理规定》要求标注AI内容,但一些AI工具和平台在这方面仍有所欠缺。有些造谣团伙发布AI生成的虚假信息时,某平台仅弹出“请遵守法律法规”的提示,点击“确认”后仍可正常发布。

当越来越多的人,被卷入这场AI造谣形成的虚假信息漩涡,单纯谴责技术已无济于事。唯有技术防御、平台责任与法律制裁三管齐下,才能斩断这条“谎言流水线”。

真相与谣言,如何对决?

首先,数据源引用和AI检测是必须要重视的。

要减小谣言发生的概率,AI工具就要严格检测数据的来源和真实性。据悉,豆包的数据源主要依赖自有业务数据,占比50%-60%;外采数据占比为15%-20%。由于质量不确定性,豆包在投喂合成数据时较为审慎。

另外,豆包也公开强调“不使用任何其他模型数据”,这也是确保数据来源的独立性、可靠性、可控性。

用“魔法打败魔法”,即用AI检测AI生成的内容,也不失为一种有效的控制谣言的办法。

国内外已有多个团队,正在投入开发AI生成内容检测技术。比如,腾讯混元安全团队朱雀实验室研发了一款AI生成图片检测系统,通过AI模型来捕捉真实图片与AI生图之间的各类差异,最终测试检出率达95%以上。

国外的Meta创建了一个系统,可以在AI生成的音频片段中嵌入名为“水印”的隐藏信号,有助于在网络上检测AI生成的内容。

未来,DeepSeek、豆包、文心一言、Kimi等AI工具,还是要通过AI技术比如自然语言处理(NLP)技术,分析数据的语义、逻辑结构,识别文本中的矛盾、不合理表述,尽量避免数据投喂中涌入虚假信息。

其次,内容平台作为信息传播的重要渠道,要担负起“信息守门人”的责任。

抖音、微博、快手、小红书等平台,已经开始强制添加“本内容由AI生成”的水印,转发时保留标识。今日头条在谣言治理上,着重建设了三个方面的能力,包括谣言库、权威信源库以及专业审核团队。

另外,咱们用户自己也要学会辨别虚假信息,加强防范意识。

对于AI给出的回答,我们不要全盘接收,而是要追问具体细节,让AI的回答更具可信度,从而判断回答是否存在幻觉‌,比如当AI声称“某股票将暴涨”时,要进一步追问“数据来源有哪些”。

另外,交叉验证信息也是一个有效的方法,也就是要通过多种渠道验证答案 的 准确性。此前有“某地地震预警”的AI谣言引发恐慌,但有网民通过对比气象局、地震台官网数据,迅速识破虚假信息。‌

最后,相关法律也要跟上。

《生成式人工智能服务管理暂行办法》已经要求数据来源合法化,并且明确了“不得生成虚假有害信息”的红线,但是当前法律法规对“AI投喂”的问题仍然存在空白,需要进一步优化。具体而言,法律需要在“投喂者如何打造语料”“语料的真实性”“投喂的目的”等环节上,进行相关管制。

结语

对于大众而言,AI应是“真相守护者”,而非“谎言扩音器”。当技术沦为贪婪的帮凶,我们需要的不仅是更聪明的AI,而是更清醒的人性。

从语料净化,到平台和法律的同步整治,这场“AI打假”必须要打赢。AI工具、内容平台与监管者要合力构建“共治防火墙”,让谣言困在笼子里。

这样一来,AI才能真正成为照亮真相的火炬,而非造谣者的“白手套”。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 百度智能云PaddleOCR 3.1正式发布:关键能力支持MCP

    百度AI团队今日正式推出PaddleOCR3.1版本,以突破性的多语言组合识别(MultilingualCompositionPerception,MCP)技术为核心,彻底重构复杂文档处理边界。此次升级标志着OCR领域首次实现对同一文档内任意混合语言文本的精准识别,为全球化企业、跨境业务及多元文化场

    标签:
    ai智能
    ai技术
  • 宇树科技加速冲刺科创板IPO,人形机器人龙头估值飙至120亿元

    “宇树已形成硬件、算法、场景联动的业务飞轮,自研率超95%的技术壁垒让其成为全球机器人赛道不可忽视的中国力量。”首程资本管理合伙人朱方文在追加投资时如是评价。7月7日,据每日经济新闻从宇树科技投资方处获悉,国内人形机器人领军企业宇树科技(UnitreeRobotics)已明确计划于科创板IPO,预计

    标签:
    宇树科技
  • OpenAI推出GPT-5:AI大统一时代的到来?

    推理与多模态的终极融合,将彻底终结用户在不同模型间切换的烦恼。7月7日,OpenAI正式确认将在今年夏季推出新一代人工智能模型GPT-5。这一突破性产品将整合现有的多个强大模型,特别是融合专注推理能力的“O系列”与具备多模态功能的“GPT系列”,为用户提供前所未有的统一体验。OpenAI开发者体验负

    标签:
    chatgpt
  • 中小AI企业,没有“高考”资格

    高考一结束,忙坏了海内外一众大模型。豆包、DeepSeek、ChatGPT、元宝、文心一言、通义千问……掀起了一波“AI赶考”大战。据悉,去年高考期间,大模型的成绩才勉强过一本线,今年集体晋升985。据悉,豆包甚至过了清北的录取线。头部大模型在高考“考场”上玩得不亦乐乎,中小AI创企的处境却日益尴尬

    标签:
    ai智能
  • 大模型抢滩高考志愿填报,能否顶替「张雪峰」们?

    文/二风来源/节点财经每年高考成绩放榜后,数千万考生和家长将迎来另一场硬仗——填报志愿。今年,这一领域迎来了AI的全面介入,多家互联网大厂和教育公司纷纷推出智能志愿填报产品,为考生提供院校和专业选择建议。据艾媒咨询数据,2023年中国高考志愿填报市场付费规模约9.5亿元,近九成考生愿意借助志愿填报服

    标签:
    大模型
  • 苹果AI掉队?现在唱衰或许还为时过早

    苹果还没从WWDC25的“群嘲”中走出,又迎来了一次新的痛击。据路透社报道,21日,苹果公司遭到股东集体起诉,被指在信息披露中低估了将先进生成式AI整合进语音助手Siri所需的时间,导致iPhone销量受影响、股价下滑,构成证券欺诈。在这份诉讼中,库克、首席财务官凯文·帕雷克及前首席财务官卢卡·马埃

  • DeepSeek、豆包向左,盘古大模型向右

    华为的盘古大模型终于推出新版本了。6月20日华为云计算CEO张平安宣布基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线,盘古大模型5.5同步发布。不过,当前国内的AI大模型竞争可谓是相当激烈,华为的盘古大模型在众多大模型中并不是十分出众。华为云此次重磅推出的盘古大模型5.5能否从

  • 数字人罗永浩一场直播卖了5000万,数字人能取代真人主播吗?

    一场没有罗永浩的“罗永浩直播”,正在改写带货规则当数字人罗永浩在百度直播间举起青岛啤酒,以标志性幽默回应粉丝提问时,弹幕疯狂刷出“这是真的还是假的?”的疑问。这场持续近7小时的直播,创下1300万人次观看、GMV突破5500万元的惊人战绩,甚至超过了他本人一个月前真人直播5000万元的成绩。数字人主

  • 新东方发布首款原创AI教育产品,开启一对一智能学习时代

    高频互动、个性化教学、突破成本壁垒,AI老师让英语学习更普惠。6月24日,新东方正式推出面向消费者的首款原创AI教育产品——“新东方AI1对1”。这款产品标志着新东方在教育+AI战略布局中迈出关键一步,旨在以科技力量推动优质教育资源的普惠发展。在发布会现场,新东方教育科技集团CEO周成刚表示:“AI

    标签:
    ai智能
  • AI工作流是什么?coze扣子工作流怎么搭建和使用?

    大家好,我是白杨SEO,专注SEO十年以上,全网SEO流量实战派,AI搜索优化研究者。为什么想分享这个AI工作流及coze扣子这个?因为我们搞流量的如果学会了用AI给我们生产提效将更有助于我们去获客。目前白杨SEO用得并不是很好,分享仅供参考,希望给你一些启发。老规矩,先说下文章大纲如下:1、AI工

    标签:
    ai智能

编辑推荐