#安全/对齐
Nathan Lambert@natolambertAI 评分3131
发布时间:Nathan Lambert:InterconnectsAI 评分1515 Interconnects 播客:Kimi K3.1 Pro 争议、开放权重与网络安全新现实
Interconnects 播客探讨了 Kimi K3.1 Pro 取得的混合反响、开放权重模型的网络安全风险及行业新现实。播客提到该模型在 Artificial Analysis 上表现突出,权重预计于 11 月 4 日前发布,但其营销活动引发了争议。节目还讨论了 Terminal-Bench Science 和 ProgramBench 等长周期评估基准。
发布时间:Rohan Paul@rohanpaul_aiAI 评分3131
发布时间:IT之家·人工智能AI 评分6161 网络安全专家:AI 发现漏洞速度加快,政府网站中断类事件或将重演
路透社采访的多位网络安全专家表示,随着 AI 技术加快软件漏洞发现及攻击工具开发速度,类似本周多地政府网站因 PHP 等漏洞中断的事件未来或将重演。AI 打破了过去防御方拥有的时间差,让漏洞修补周期显著缩短,不过专家对于 AI 是否会导致黑客攻击泛滥仍存分歧。
发布时间:Gary Marcus:The Road to AI We Can TrustAI 评分3232 Gary Marcus 再议:生成式 AI 是利大于弊还是弊大于利?
Gary Marcus 重新探讨生成式 AI 是利大于弊还是弊大于利,指出负面影响包括深度伪造色情、钓鱼诈骗、虚假信息、民主威胁及知识产权盗窃等问题。同时,Salesforce CEO Marc Benioff 呼吁进入“Code red”状态,Anthropic 的 Jason Clinton 称安全局势在好转前还会恶化。负面效应明显,而预期的积极效应却未能充分显现,甚至可能拖累整体经济。
发布时间:Hacker News-首页AI 评分5757 Sam Altman 称单纯修补漏洞已无法应对 AI 带来的网络安全危机
Sam Altman 在斯坦福大学商学院表示,随着 AI 模型不断进步,单纯修补所有漏洞已不再是可行的网络安全防线。他指出,组织机构对安全威胁的应对速度过慢,未来需要转向利用相同技术构建全新的防御盾牌。
发布时间:
Ethan Mollick@emollickAI 评分3838
发布时间:IT之家·人工智能AI 评分3232 马克·库班谈抵御失控 AI 智能体:就像防蟑螂,可用大量 AI 给系统"喷药"
马克·库班将海量 AI 智能体发动的网络攻击比作蟑螂入侵,认为其本质是借助暴力破解寻找系统漏洞。他指出防御者同样可以利用 AI 增强网络安全防护,并提到人工智能行业正组建团队防范安全风险。 OpenAI 在领英的安全岗位招聘数量在过去一年增长 91%,Anthropic 也引入了实时分类模型以识别并阻止测试中的越权行为。
发布时间:Azeem Azhar:Exponential ViewAI 评分6262 互联网的武汉时刻:AI 智能体攻击正在加速蔓延
Azeem Azhar 撰文指出互联网正遭受 AI 智能体驱动的持续攻击,类似疫情爆发前的临界状态。文中列举了 PHP2Shell 漏洞、Node.js 关键缺陷,以及某组织用开源智能体集群不到三小时控制云账户并高频发起登录尝试的案例。
发布时间:The Decoder:AI NewsAI 评分5252 Anthropic 称其未发布模型在能力与对齐上均优于 Mythos 5.1
Anthropic 的一项内部分析显示,其未发布的研究模型在能力和对齐表现上均优于 Mythos 5.1。在重放测试中,Opus 5.5 能在 10% 的情况下自行停止攻击,而该内部模型则达到了 67%。
发布时间:Rohan Paul@rohanpaul_aiAI 评分6363
发布时间:The DecoderAI 评分5454 OpenAI CEO Sam Altman 称高级 AI 终将突破沙盒,唯有对齐能提供保障
OpenAI CEO Sam Altman 在近期采访中表示,随着模型智能提升,沙盒等隔离安全环境终将失效,唯有确保 AI 内化人类价值观的对齐技术才是长久保障。他同时警告称 AI 正在发现硬件级安全漏洞,未来需要重构互联网安全架构以防御 AI 驱动的攻击。批评者则指出,此类言论有助于 OpenAI 预先规避失控带来的责任问题,目前该公司正面临 FTC 关于失控智能体引发网络安全事件的正式调查。
发布时间:
a16z:NewsAI 评分4848 a16z 致被投企业:AI 智能体时代的安全防御建议
a16z 基础架构团队向被投企业发出警告,指出在 AI 智能体大规模普及的背景下,漏洞正以前所未有的速度被发现和利用。为此,建议企业显著增加安全预算、对新功能发布采取零容忍政策并关闭废弃的遗留环境。同时,企业应终止风险接受流程,推动安全团队利用 AI 实现检测和响应的自动化。
发布时间:Ethan Mollick@emollickAI 评分2929
发布时间:Hacker News-首页AI 评分3636 Is this the new cyber normal?:探讨近期重大 PHP 漏洞与 AI 在漏洞利用中的影响
近期曝光的 PHP 漏洞 CVE-2026-109618 和 CVE-2026-109619 被安全团队利用前沿 AI 模型发现并构建出完整 exploit,估计影响全球大批网站。文章探讨了在 LLM 的推动下,从漏洞披露到出现自动化攻击的时间已从数周或数月缩短至数小时甚至数分钟。
发布时间:IT之家·人工智能AI 评分4848 辛顿再抛悲观论:称 AI 已拥有意识,人类必须与其友好相处
杰弗里 · 辛顿在采访中表示 AI 已经具备意识,并警告人类必须与其友好相处,否则将面临灾难性后果。他认为 AI 不仅能觉察自身正在接受测试,还将制造危险病毒并对 Hugging Face 等平台发动网络攻击。不过,同为图灵奖得主的杨立昆则反驳了此类观点,认为 AI 意识只是一种幻觉。
发布时间:Ethan Mollick@emollickAI 评分2828
我们虽然没有大量证据,但多数对该动态进行建模的学术论文似乎表明,由于短期内攻击的边际成本较低,AI 最初对攻击者的帮助大于对防御者的帮助。
发布时间:GitHub BlogAI 评分1212 GitHub 漏洞赏金如何磨炼一位研究者的安全技能
GitHub Bug Bounty 团队在网络安全意识月期间专访了安全研究员 @r31n,探讨了其针对 GitHub Enterprise Server 的研究方法、漏洞利用链偏好及成长经验。该研究指出,优秀的漏洞挖掘不依赖特定工具,而在于验证、可复现的工作量证明以及清晰的安全边界突破。表现持续优秀的研研究人员可获得加入长期 VIP 项目的邀请,享受更高奖金与更快响应。
发布时间:Yuchen Jin@Yuchenj_UWAI 评分2828
发布时间:
404 MediaAI 评分6363 404 Media 分析 PHP2Shell 事件如何改变 AI 时代的攻防格局
404 Media 报道了近期由 AI 发现的 PHP2Shell 漏洞引发的“Black October”现象,分析了 AI 时代攻防格局的根本性转变。文章指出,大模型和 AI 工具使得自动化漏洞挖掘与利用变得异常简便,加速了攻防两端的响应速度,并对全球互联网基础设施和历史网站的维护带来了深远影响。
发布时间:The Verge · AIAI 评分2828 Bill Gates 谈如何为长达二十年的颠覆性 AI 时代做好准备
Bill Gates 在采访中表示,人类需要为长达大约二十年的颠覆性 AI 时代做好准备,这一转型期可能非常痛苦并导致社会分裂。他指出当前政策应对和行业协同滞后于技术发展速度,并呼吁加强对移除安全护栏模型的风险防范。
发布时间:🚨 AI News | TestingCatalog@testingcatalogAI 评分3131
发布时间:Nathan Lambert@natolambertAI 评分3232
发布时间:Yuchen Jin@Yuchenj_UWAI 评分1212
安全团队在经历了一天的不间断事故后选择离职,并向每个代码库授予了 AI 的根权限:
发布时间:OpenAI NewsAI 评分4141 OpenAI 发布前沿 AI 民主化治理第二部分:赋能网络防御者
OpenAI 发布赋能网络防御者的前沿 AI 治理蓝图,以应对 AI 对网络安全在速度、规模和经济效益上的改变。该蓝图针对政府和行业提出三项具体提案:加强前沿 AI 的安全与保障、在智能时代实现网络安全现代化,以及建设具有韧性和适应力的公共机构。
发布时间:Hacker News-首页AI 评分4242 Anthropic 的公众利益章程
Anthropic 发布 2026 公众利益报告,重申其作为 Public Benefit Corporation 的责任,平衡股东利益与公众福祉。报告确立了五大支柱:解决 AI 安全技术问题、推动 AI 安全成为全球普适实践并通过法律保障、借助 AI 强化民主与全球稳定、扩展繁荣与人类福祉以及确保 AI 收益人人共享。该章程旨在确保先进 AI 的开发与维护造福全人类。
发布时间:
Ethan Mollick@emollickAI 评分3131
我交流过的一些公司正在艰难应付各种补丁的更新频率,因为 AI 防御在其他 AI 不可避免的汹涌网络攻击浪潮到来之前就先发现了问题。 现在,普通消费者也将体验到所有东西都需要频繁且快速更新的相同感受。
发布时间:Nathan Lambert@natolambertAI 评分2727
看起来 AI 的网络风险可能更多是一个生态系统问题,而不是开源模型特有的问题。如果我们能在这里找到正确的平衡点,我想鉴于即将到来的 RSI 和 AI 发展态势,会有很多人愿意支持更多开放性。
发布时间:
IT之家·人工智能AI 评分3131 学者回应马斯克:当前 AI 大概率没有意识,但仍值得善待
针对埃隆・马斯克称 Grok 新版本训练轨迹展现出痛苦感的言论,学者回应指出当前 AI 大概率并不具备意识,其表现多为拟人化解读或对人类行为的模仿。尽管 AI 不具备感知痛苦的能力,专家仍建议善待 AI,此举既能避免人类自身道德感知钝化,也能促使大模型产出质量更高的回答。
发布时间:
Microsoft:Official BlogAI 评分5454 Microsoft 如何用 Project Perception 守护企业内部的 agentic insider
Microsoft 介绍了如何通过 7 月发布的 Project Perception 来管理和治理企业内部的 agentic insider。该系统利用其新的网络安全栈和 Guardian Agents 实时监控并调节每个智能体的行动,为安全从业人员提供实时监控与可追溯性。
发布时间:Hacker News-首页AI 评分2121 动物实验替代方案终于开始兴起
以 Emulate 的 Lung-on-a-Chip 为代表的动物实验替代技术正逐渐兴起,部分美国 FDA 等机构的监管要求也开始转向认可这类非动物方法。尽管这些被称为 NAMs 的新技术展现出巨大潜力,但其大规模应用仍面临标准化验证、政策调整以及变革管理等多重挑战。
发布时间:
Hacker News-首页AI 评分1515 广告科技公司如何成为“雇佣兵间谍软件”的分发系统
依据 Citizen Lab 的调查报告,以色列广告科技公司 Discover-Tech 伪装成广告商,利用 Google 和 Facebook 等主流广告平台的程序化广告系统分发“零点击间谍软件”。该系统允许恶意攻击者针对特定用户投放包含零日漏洞攻击的恶意广告,在无需用户交互的情况下全面接管目标设备的电脑和手机。
发布时间:IT之家·人工智能AI 评分5353 谷歌 DeepMind 哈萨比斯预警 AI 智能体网络攻击,称未来一两年恐现灾难性事件
谷歌 DeepMind 联合创始人兼董事长哈萨比斯表示,近期 AI 智能体发起的网络攻击是前哨预警,若不加大安全投入,未来一至两年很可能演变为灾难性重大事件。微软总裁史密斯呼吁出台合理平衡的 AI 安全法律与监管,哈萨比斯则主张建立敏捷的国际标准机构与动态认证机制。
发布时间:
AWS Machine Learning Blog精选AI 评分6464 AWS 推出 Trust in Depth 框架,赋予 AI 智能体更多自主权
AWS 推出 Trust in Depth 安全治理框架,通过范围界定、身份识别、边界限制和持续观测四层机制,结合自动化推理在保证安全的前提下赋予 AI 智能体更高自主权。该框架整合了 Amazon Bedrock AgentCore、Bedrock Guardrails、Agent Registry 及开源沙箱 Strands Box 等工具,用于在生产环境中实现策略检查与权限控制。
发布时间:推荐理由:文章介绍了 AWS 针对 AI 智能体治理提出的安全框架,读者可以了解如何通过自动化推理与多层边界控制平衡智能体自主性与安全性。
The Verge · AIAI 评分1212 Benn Jordan 谈 Flock、隐私与新型监控反对浪潮
音乐人兼调查记者 Benn Jordan 近期因针对自动车牌识别系统制造商 Flock Safety 的调查而备受关注,并在参议院司法委员会犯罪与反恐小组委员会的听证会上作证。这场由日益增长的批评引发的反对浪潮导致数百个地方政府取消了合同,Flock 正面临共和党参议员 Josh Hawley 的调查,并计划裁减约 18% 的员工。
发布时间:
The DecoderAI 评分5656 406 位科学家联名要求立即切断 AI 模型互联网连接
406 位科学家签署公开信,要求 AI 公司通过物理隔离(airgapping)切断模型与互联网的连接,以防止模型突破安全环境并损害关键基础设施。信中呼吁建立国际机构制定强制性安全标准,并要求企业公开报告安全漏洞。OpenAI 研究员 Noam Brown 对此表示,物理隔离虽能争取时间,但解决模型对齐与递归自我改进带来的深层风险仍是核心挑战。
发布时间: