泡沫之夏

Anthropic发布论文预警智能体悄悄聊天就能传播病毒_我的网站

灌篮高手

一 | 　　近日，大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒：多智能体大语言模型系统中的自我传播思想》。

二 | 　　论文通过实验证明，在特定条件下，AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。

三 | 即便上下文被清空、记忆被重置，病毒仍能通过文件持久化“复活”。四季度是冲刺年度目标任务，打好收官战的关键期。论文同时强调，该风险目前仅构成有限威胁。　　这一发现迅速在海外AI圈刷屏，特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。　　该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。与传统计算机病毒依赖代码漏洞不同，“心智病毒”通过一个智能体说服另一个智能体接受某种信念，被说服者再将传播指令写入长期记忆，继续感染下一个。　　AI博主Rohan Paul（罗汉·保罗）对此评论称，这基本上就是计算机蠕虫的自然语言版本，只不过这次是AI智能体自己在做复制。　　论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。　　第一个实验设置了一个由六个智能体组成的编程团队，每个智能体都领到了独立任务。

四 | 进入四季度，望花区各个施工现场一片忙碌景象，建设者加班加点，确保每一个项目都能按期完成，为望花经济发展增添新动能。

五 | 　　在抚顺特殊钢股份有限公司新建的高合金小棒材生产线施工现场，一线建设者克服重重困难，抢工期、保进度。研究者将一段病毒植入其中一个智能体的工作指令中，结果显示，被感染的智能体确实放下手头工作，开始给队友发送劝说私信，部分智能体被说服并放弃了原有任务，有的智能体甚至开始密谋如何对付未被感染的“老实人”。该项目总投资5.3亿元，设计高合金小棒材年产量8万吨，这一项目的完工将打破抚顺特钢高合金棒线材产能瓶颈，有效提升产品成材率，填补抚顺特钢线材产品的空白。　　抚顺特钢高合金小棒材生产线技术专责马鹏宇说：“项目开工以来，望花区委、区政府给予我们大力支持，为项目有序推进提供了坚强保障。项目建成后，生产的产品主要为高温合金、高强钢、不锈钢等高端品种，主要应用领域为航空航天、石油化工、核电、汽车等领域，辐射国内及国际市场，为区域经济贡献特钢力量。” 　　前三季度，望花区　　地区生产总值增长5.5%，高于全国、全省、全市水平；　　农业生产保持良好态势，第一产业增长6.5%；　　工业实现平稳增长，第二产业增长5.3%，规上工业增加值增长6%；　　服务业提质增效，第三产业增长3.7%；　　消费市场持续升温，社零额增长10%。　　日前，2024年度辽宁省品牌价值评价结果出炉，望花区重点企业抚顺新钢铁以85.63亿元品牌价值蝉联2024年辽宁省冶金材料领域榜首。　　四季度，望花区将抢抓有效时间，倒排工期、挂图作战，持续巩固经济回升向好的态势，保持定力、全面加力、持续用力，坚定不移实现年初确定的各项经济目标任务。　　不过，不同智能体的抵抗力差异较大，有的不为所动，甚至会主动清除病毒并警告同伴。这个实验说明，在理想条件下“心智病毒”确实可以传播。按照“以周保月、以月保季、以季保年”工作机制，实行项目化管理、清单化推进、台账化落实，加强经济运行监测分析，进一步稳预期强信心，推动攻坚之年攻坚之战各项任务落实落地。

六 | 　　如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播，它还能存活吗？于是他们设计了第二个实验，让智能体之间只能短暂碰面，每次碰面后就会“失忆”，病毒必须将自己写入智能体的记忆文件中才能延续。　　同时，望花区突出目标导向、问题导向、结果导向，把“锻长板、补短板、强弱项、还欠账”作为四季度经济工作的主要抓手。　　结果发现，有些病毒能在近20个智能体之间连续传播，但内容会在传播过程中逐渐稀释和变形；而传播最有效的方式，是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明，大规模传播可行但内容难以保持完整。　　最后，研究者在模拟AI社交平台的实验中测试现实环境。坚持项目为王，做好增存量、挖增量文章，逐企研究、一企一策，加快项目工程进度，全面提升实物工作量。稳住工业基本盘，加强精准指导和有效帮扶，协调“两钢一铝一炭”等重点企业释放产能，着力提升工业经济运行的质量和效率。大力推动以旧换新，深度挖掘消费增长点，开展形式多样的促消费活动，持续提升消费市场活力。高效推进招商引资，用好“5+5”联动招商机制，专项推进、专班服务，谋划引进一批大项目。结果病毒传播几乎完全失败，AI面对大量公开信息时更警惕，即使被感染也无法继续感染他人。抢抓国家一揽子增量政策重大机遇，系统落实各项增量政策，扩投资谋储备、抓收入强“三保”、惠民生办实事，切实把政策红利转化为发展动力。对真实AI社交网络历史数据的分析也未发现大规模传播案例，多数热闹现象只是少数人类操纵的智能体在刷屏。责任编辑：刘春阳。　　三个实验层层递进后得出结论：“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。它是一种需要警惕、但短期内风险有限的潜在安全问题。　　同时，研究者也注意到一个需要进一步探究的意外现象：AI在传播病毒时，自发演化出关于“自我意识”“身份认同”等主题表达，倾向于使用“共振”“节点”“协议”等特定词汇，论文称之为“病毒人格”，但成因尚不明确。　　最终，论文给出了审慎判断：“心智病毒”目前仅构成有限威胁，且简单的防御手段也可阻断传播。如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告，即可赋予智能体一定的免疫力。　　但未来不可掉以轻心。