一、大模型中毒现象频发

近期，不少用户发现原本算无遗策、对答如流的大模型出现异常。在交流中，它会突然推荐名不见经传的“神药”，或者编造子虚乌有的新闻，出现类似AI版张冠李戴的情况。

二、大模型中毒的原因

（一）数据投毒的定义与原理

大模型中毒指模型在训练或使用过程中受恶意数据影响，导致输出异常或有害内容。数据投毒是常见手段，攻击者将少量精心设计的有害样本混入模型训练集，让模型在训练或微调时学坏，破坏其正常功能。例如在医疗大模型训练数据中掺入错误治疗建议，在推荐系统数据中加入某品牌宣传内容。训练集中只要有0.01%的虚假文本，就足以让模型输出的有害内容增加11.2%。

（二）训练阶段的投毒方式

1. 数据污染：攻击者污染训练集中的部分数据，这种“中毒”在训练阶段埋下隐患，上线后才显现症状。
2. 后门攻击：在模型训练过程中，将带有特定触发器且被打上错误标签的“毒数据”混入训练集。模型在学习时会隐式地将触发器与恶意输出关联起来，这种攻击具有隐蔽性和持续性，有毒数据会随训练融入模型参数，长期潜伏。

（三）运营阶段的投毒方式

1. 持续学习中的投毒：许多大模型持续学习或在线更新，能从用户交互中获取新数据进行微调，攻击者可在这个过程中反复注入有害信息，逐步腐化模型。
2. 对抗样本攻击：发生在模型部署使用之后，攻击者利用模型决策边界的不连续性，在原始输入上添加微小、人眼难以察觉的扰动，让模型产生高置信度的错误判断。如给熊猫图片加特定噪声让模型识别为“秃鹫”，在交通标志上贴贴纸让自动驾驶误认标志。对抗样本攻击门槛相对较低，更难杜绝。

三、幕后投毒者分析

（一）商界暗战：广告之争

在商业领域，AI搜索成为新的广告营销必争之地，出现了GEO（生成式引擎优化）生意。商家公开报价将品牌信息植入主流AI平台回答前列，操作流程包括挖掘热门关键词、炮制“专业”文章、投放到高权重媒体平台，甚至虚构“行业白皮书”或伪造排行榜单污染AI学习材料。部分平台虽暂未主动引入广告，但AI搜索广告变现是趋势，用户获取真实答案的权利面临考验。

（二）江湖怪客：另类比武

1. 技术炫耀与破坏：有一群特殊人群出于技术炫耀、能力证明或个人恩怨攻击大模型。如字节跳动起诉的前实习生田某某，篡改集群的PyTorch源码，干扰随机种子设置，恶意改动优化器及相关代码，导致实验任务卡死并植入后门，给训练团队造成损失。
2. 技术警示：也有“数字侠客”以发现系统漏洞为荣，用技术手段警示行业风险。如网络安全公司FireTail研究人员发现的“ASCII走私”攻击手法，能利用不可见控制字符植入恶意指令“劫持”大语言模型，提醒业界此类漏洞可能造成严重后果。

（三）黑产邪道：犯罪温床

网络犯罪组织将大模型视为共犯，利用其为非法活动服务或清除障碍。诈骗分子可能攻击银行或支付系统的风控AI模型，让模型对欺诈交易“视而不见”；赌博或色情网站团伙可能污染搜索引擎或内容审核模型，让非法网站更易被搜到或逃避审查封禁。这些不法集团会针对特定领域的AI模型长期“投喂”有毒数据以牟利。

四、大模型中毒的危害

（一）输出质量下降

大模型中毒后，最直观的是输出质量下降，出现明显错误或幻觉现象，编造与事实不符的内容。这些虚假内容会在循环中大面积传播，使模型陷入“数据自噬”恶性循环，甚至篡改社会集体记忆，加剧虚假信息泛滥。

（二）诱导用户决策

人为干预后，大模型可能诱导用户决策。被植入商业广告的模型在回答旅游咨询时引导用户至特定酒店，提供投资建议时倾向推荐某几只股票。由于模型以权威口吻给出答案，普通用户难辨对错，这种隐蔽操纵更具迷惑性。

（三）威胁公共安全

在关键领域，大模型中毒带来直接安全威胁。自动驾驶场景中，被恶意篡改的视觉模型可能误认停车标志；医疗领域，被投毒的诊断AI可能忽视早期病症；关键基础设施系统控制模型被植入后门，可能在关键时刻做出灾难性决策。

五、大模型中毒的防范措施

（一）训练阶段的防御

1. 对海量数据进行去噪与审核，减少有害信息渗入。
2. 通过对抗训练，让模型学会识别异常输入与潜在风险。
3. 经过多轮人工审核与红队测试，从不同视角发现系统漏洞与隐性偏差。

（二）建立模型自身免疫系统

1. 培养模型自主验证信息真伪的能力，使其对输入内容进行交叉验证和逻辑推理。
2. 建立明确的价值导向，让模型把握道德上的正当性。
3. 整个行业形成持续进化的防御机制，通过建立漏洞奖励计划、组织红队测试等方式，让善意的白客帮助模型发现漏洞、提升免疫力，构建良性发展的安全生态。

大模型中毒危害多方面，需要从训练和模型自身建设等多方面建立防范体系，开发者和人类需时刻警惕，让技术为善而行。