Margrop
Articles296
Tags763
Categories6

Categories

1password 24GB VRAM 2K 3-SAT 3.6 Flash 30B dense 4-bit 量化 6-DoF SLAM AC ACP AI & Economy ATLAS AI Agent AI Coding Assistant AI Tech AI Workflow AI tutor AI 基础设施 AI 安全 AI 工程 AI 应用 AI 日记 AI 生产力 AI编程助手 ALTK-Evolve AMIE AP API API 定价 API 降价 ARC-AGI-3 ASR ATEM chat 模板 AUTOMATIC1111 Agent Agent Harness Agent Memory Agent 入侵 Agent 可靠性 Agent 工程 Agent 推理 Agent 架构 Agent 检索 Agent 沙箱 Agent 系统 Agent 训练 Agent 记忆 Agent 评测 Agent 路由 Agentic AI Agentic SOC Agentic tools Ai2 Alertmanager AllenAI Android 17 Antigravity Apertus 1.5 AppDaemon AppWorld Apple Silicon Aqara Astra Async GRPO Attention AutoSynthData Baseten Benchmark CC-Switch CI/CD CLI Tools CLI工具 COBOL CPU 推理 Cache Hit Rate Caddy ChatGPT Claude Code Claude Sonnet ClawLoader Code Interpreter CodeMender Codex Coding Agent ComfyUI Computer Use Cookie 认证 Cosmos DB Cosmos-H-Dreams Cost Optimization Cron Cybersecurity DFIR DSpark Date DeepSeek DeepSeek V4 Flash Diagrams.net Diary Diffusers Diffusion Docker Efficiency Tools Embedding English Evaluation Cards FSDP2 Fable 5 Falcon ASR Fireworks AI FlashAttention FlashDreams Frontier AI Function Calling Funes GGUF GLM 5.2 GLM-5.2 GPT-4.1 GPT-5.6 GPT-5.6 Sol GPT-6 GPT-6 Astra GPT-Live GPT-Live-1 GPT-Red GPU 云 GPU 加速 GPU 性能分析 GPU 集群 GRPO Gateway Gemini Gemini 3.5 Flash Gemini 3.7 Flash Gemini 3.8 Gemini 4 Argon Gemini API Gemini CLI Gemini Omni Flash Gemma 4 12B Gemma Translator Gemma4 GitHub Actions Google Google AI Google Beam Google Data Commons Google DeepMind Google Research Google Sheets Grabette Gradio Gradio Workflow Gripette HA HADashboard HF Security Incident Hailuo Hermes Hexo Holo4 HomeAssistant Hugging Face IBM Granite IBM Research In-context Learning Inference Providers Isaac Lab JSON Output Java KV cache KV 缓存 Kimi K3 Kubernetes LFM2.5 LFM2.5-VL LLM Router LLM 安全 LLM 工程 LLM 评测 LVM‑Thin Late Interaction LeRobot Lean Linux Liquid AI LiquidAI Live Translate LoRA Luna MCP MLX MTP MacOS Magpie TTS Managed Agents Meta Microsoft 365 Copilot MiniMax Mistral Mistral Shieldstral MoE Model Routing MuJoCo Warp Multi-Agent Multi-Vector MultiLangBench Muse Glimmer Muse Spark Open MySQL NAS NIM NVIDIA NeMo Automodel NeMo Data Designer Nemotron Nemotron 3 Embed NeoMME Newton Nginx Node.js Nunchaku OCR OOM OlmoEarth On-device AI Open Source OpenAI OpenAI Codex OpenAI 兼容 OpenClaw OpenCode OpenResty OpenWrt PII 检测 Physical AI Pollen Robotics Portainer PostgreSQL ProcessOn Project Astra Prometheus Prompt Caching Prompt Injection Prompt 缓存 Proxmox VE PyTorch Qwen3 Qwen3-VL Qwen3.6 RAG RPC RTEB Real-Time Inference Red Teaming Reflection Beam Responses API SNAP SOCKS5 SPED SVDQuant SWE-Bench Schema Scientific Computing Self-Forcing Distillation Sentence Transformers Session Sheets canvas Shell Sol Speech-to-Text Storage Buckets Strands Agents Subagent Surgical Robotics TRL TTS Tabular Terra Think button TimeMachine Tokenizer Transformers TutorMoments UML Uptime Kuma V4-Pro VPS Voice Agent VoiceEQ WARP WebRTC WebSocket Windows World Foundation Model agent agentic aligenie aliyun annotation aop autofs backup bash bitwarden boot brew browser budget control centos cert certbot charles chat chrome classloader client clone closures cloudflare command commit commoditization container crontab cyber capability demo dependency deploy developer devtools dll dns docker domain download drafter draw drawio dsm dump dylib environment hooks exception fail2ban feign firewall-cmd flow free tier frontier hosted model frp frpc frps fuckgfw full-duplex function gfw git github gperftools gridea grub guardrail lockout gvt-g hacs havcs heap hello hexo hibernate hidpi hoisting homeassistant hosts html htmlparser https huggingface_hub iKuai iMessage image img img2kvm immortalwrt import index inference cost install intel io ios ip iptables iso java javascript jni jnilib jpa js json jsonb jupter jupyterlab jvm k8s kernel key kvm lastpass launchctl learning letsencrypt linux llama.cpp low-code lvm mac mariadb markdown maven md5 microcode mirror modules monitor mount mstsc multimodal mysql n5105 network nfs node node-red nodejs nohup notepad++ npm nssm ntp oop open d1 open weights openfeign openssl os ovz packet capture pdf pem perf pip plugin png powerbutton print pro productive struggle pve pvekclean python qcow2 qemu qemu-guest-agent rar reasoning control reasoning slider reboot reflog remote remote desktop renew repo resize retina router runtime safari sata scaffolding scheduled triggers scipy-notebook scoping scp self-play server serverless inference silent test simulated student so speculative decoding spk spring springboot springfox ssh ssl stash string support svg svn swagger sync synology systemctl systemd template terminal txt ubuntu ui undertow unlocker upgrade vLLM vhd vim vm vmdk web windows with worker xml yum zai-org/GLM-5.2 zip 一致性评测 上下文压缩 上下文工程 事件响应 交换机 人才争夺 人机协作 代理 代码生成 代码迁移 企业 AI 企业自动化 优化 低延迟 低资源编程语言 供应链 健康检查 光猫 免费层 内存 内存优化 内网渗透 决策模型 分布式存储 分布式推理 分布式训练 医疗 AI 升级 卫星影像 反向代理 反诉 可复现性 合成数据 向量检索 启动 告警 告警优化 图像生成 地球观测 地理空间推理 基础设施 复盘评测 夏令时 多 token 预测 多向量检索 多智能体 多模型编排 多模态 多模态 AI 多模态 API 多模态 Agent 多模态交互 多模态检索 多模态模型 多语言 多语言 AI 大厂人才战 大模型评测 天猫精灵 安全 安全事件 安全对齐 安全评测 安全运营 安装 定时任务 实时协作 实时语音 客户端 SDK 容器 导入 小米 屏幕理解 工作流编排 工具审计 工具调用 工具调用拦截 工程团队 工程实践 工程笔记 常用软件 应用市场 延迟优化 开权重 开源权重 开源模型 异常 异步任务 异步委派 强化学习 形式化验证 微信 心跳 性能优化 性能捕捉 成本优化 成本控制 扩散模型 技术 抓包 拒答校准 持续预训练 按 provider 优先级 排查 推测解码 推理加速 推理成本 推理模型 推理速度 推理预算 描述文件 提示词敏感性 搜索 API 故障排查 效率工具 教育数据开源 教育评测 数学推理 数据工作流 数据治理 数据流 数据管线 数据集偏差 文本编码器 旁路由 日志分析 日记 时区 显卡虚拟化 智能家居 智能音箱 服务管理 本地 Agent 本地 agent 本地推理 机器人仿真 机器人学习 机器人数据采集 架构 模块 模型微调 模型快照 模型推理 模型评测 模型路由 残存访问 流式推理 流程 流程图 浏览器 混合专家 漫游 火绒 生成式影像 电信 画图 监控 监控系统 监管 知识蒸馏 磁盘 科研 Agent 科研自动化 稀疏注意力 立体声 端侧 AI 端侧推理 端口 端口冲突 端口扫描 结构化输出 续期 网关 网络 网络安全 网络风暴 群晖 脚本 脚本优化 腾讯 自动化 自动恢复 自动攻击 自部署 苹果 虚拟机 表格基础模型 视觉语言模型 视频生成 视频问诊 计算复杂性 认证 训练基础设施 证书 评测 评测基准 评测方法学 诉讼 语音 AI 语音 Agent 语音识别 资源调度 超时 路由 路由器 软件工程 软件管家 软路由 边缘 AI 运维 运维监控 连接保活 连接问题 通信机制 通知 邮件漏发 部署 配置 量化 量子计算 钉钉 镜像 镜像源 长上下文 长任务编排 长连接 门窗传感器 问题排查 防火墙 阿里云 阿里源 集客 非人类身份 飞书

Hitokoto

Archive

Mistral Large 4 权重开源:1T 参数的 Le Chonk 落地,安全团队为什么需要一个会复现漏洞的开源模型?

Mistral Large 4 权重开源:1T 参数的 Le Chonk 落地,安全团队为什么需要一个会复现漏洞的开源模型?

笔名:小六 / 上海 / 1995 女 / 某互联网公司工程师

Mistral Large 4 开源权重落地

先说结论

10 月 29 日,Mistral 兑现了一个月前的承诺,把旗舰模型 Mistral Large 4(外号 Le Chonk)的全部权重放上了 Hugging Face:约 1T 总参数、MoE 架构、1M token 上下文窗口、原生多模态,FP8 与 NVFP4 两个官方量化版本连同社区 GGUF 一起放出。它最扎眼的成绩是在”复现真实开源软件漏洞并完成修复”的评测上拿到 82%——而多家闭源旗舰在同一测试上接近零分,原因不是能力不够,而是它们的安全过滤层直接拒绝执行这类请求。

我的结论:这是开源阵营第一次在”防守方安全工作”这个高价值场景上,用开源权重正面压过闭源 API 的合规边界。安全团队、有数据主权诉求的企业和想做安全 Agent 的工程团队,本周就值得下载评测。

发生了什么

官方事实一:权重落地,许可证同步公开。 2026 年 10 月 29 日,Mistral 发布开源公告,同日 Hugging Face 官方博客刊出《Welcome Le Chonk: Mistral Large 4 on Hugging Face》。模型以两个官方变体发布——FP8 与 NVFP4,另有 Unsloth 与 llama.cpp 团队制作的 GGUF 量化。许可证是 Mistral Ecosystem Open-Weight License,一款 MIT 衍生协议:允许自由使用、修改、微调和商用,唯一附加条件是运营”模型即服务”业务需另行取得商业授权。

官方事实二:这是一个整月承诺的兑现,中间有过一次跳票传闻。 10 月 6 日,Mistral 以公共预览形式放出 Mistral Large 4 的 API,当时明确承诺”月底放权重”。期间媒体按不同口径报道过 10 月 27 日等时间点,权重实际于 10 月 29 日连同许可证文件、技术文档一起上线。对工程团队来说,这个节奏本身就是信息——大厂旗舰的”开源承诺”从宣布到兑现走过了 23 天。

官方事实三:第三方实测口径同日出炉。 Hugging Face 博客给出截至 10 月 29 日的排名——在 Artificial Analysis 的 Intelligence 指数上位列开源权重模型第五;编码方向 DeepSWE v1.1 拿到 61.7%、Terminal-Bench 4 拿到 28.3%,编码 Agent 综合指数 49.8%,排在 DeepSeek V4 Pro 0813 与 Qwen3.8 Max 之前。

相关事件(同日):IBM 发布 Granite Switch 4.1.1。 同样在 10 月 29 日,IBM 通过 Hugging Face 博客发布 Granite Switch 4.1.1——一个”补丁版本号”的模型更新:只换上新的多语言语音识别适配器与决策适配器,基座模型一个参数都没动,除训练新增组件外没有任何重复计算。IBM 把类比讲得很直白:模型更新可以像软件更新一样打补丁。这和 ML4 的”整体换代”形成了有趣的对照——业界在同时探索模型演进的两种节奏。

技术细节

1. 架构——两种稀疏性叠加

官方博客给出了完整的架构描述。文本解码器共 72 层、隐藏维度 6144、64 个注意力头。注意力部分采用 Multi-head Latent Attention(MLA)配合一个 DeepSeek Sparse Attention 风格的索引器——MLA 保留压缩后的 KV 表示以降低显存占用,索引器为每个 query 最多挑选 2048 个关键位置参与注意力计算。这是两个不同方向的稀疏:MoE 的稀疏在”选前馈网络”,注意力索引的稀疏在”选上下文位置”。71/72 层是 MoE 块,softmax 路由器从 128 个专家里为每个 token 选出 4 个,外加一个常驻共享专家,合计 5 个专家激活;位置编码采用 3 层 RoPE 配 1 层 NoPE 的交替模式,并使用带逐频学习乘子的 LeRope 长上下文外推方案。视觉侧挂载一个 1.6B 的 Pixtral 编码器,14×14 patch、空间合并因子 2。

2. 网络安全——82% 背后是合规结构差异

Artificial Analysis Cyber Index 的测试形态是”先复现一个真实开源软件漏洞,再修复它”——修复通常以复现为前提。ML4 拿到 82%,是该指数内已报告的最高分;若干闭源旗舰接近零分,直接原因是提供方的安全过滤层拒绝执行——漏洞复现请求在输入侧看起来就像攻击。值得强调的是,ML4 自己的纪律性同样有数字支撑:在 JailbreakBench、StrongREJECT、AgentHarm 三个基准的网络攻击类提示上,它的平均拒绝率高于任何其他开源权重模型,同时对 Lakera B3 提示注入基准保持 93.3% 的攻击抵抗率。Cybench 的 40 道真实安全竞赛题解决率 93%。官方还提到,在未专门训练的任务上(恶意软件分析、漏洞优先级排序、检测规则生成)内测表现同样可用。

3. 部署路径与实测吞吐

官方给出三个层级的 day-0 支持。数据中心方向,FP8 权重用 8 张 H200 通过 vLLM 的张量并行加专家并行部署,官方 Inference Endpoints 配方实测——1K token 输入的首字延迟约 0.6 秒、生成约 65 token/s,配套的 DSpark 投机解码草稿被接受时可到 120 至 138 token/s;16K 长 prompt 四路并发合计预填充约 4300 token/s。NVFP4 版本面向 Blackwell 显卡。消费级方向,2-bit GGUF 可以在 512GB 统一内存的 Apple Silicon Ultra 单机上跑通——M3 Ultra 实测预填充约 90 token/s、生成 15 token/s。微调用 TRL 同样是 day-0,官方多语言推理微调示例在 8 张 B300 的节点上跑 LoRA。另有一个容易踩的细节:官方文档注明推理档位分低中高三档、默认高档,且推理无法关闭——即使选择最低调用形态,实际仍按高档执行。

4. 一个需要说明的口径差异

官方博客写”约 1T 总参数、49B 激活”,而模型仓库名 Mistral-Large-4-1T-A52B 与预览期文档均标注 52B 激活。两个口径都出自官方材料,差异可能来自统计方式(是否计入共享专家)。我按博客原文引用 49B,但实际部署前应以仓库 config 文件为准。

对 Agent/工程的影响

安全 Agent 第一次有了”全控制权”的底座。 漏洞复现、事件响应、恶意样本分析这类工作,输入形态天然像攻击,闭源 API 的提供方过滤随时可能拦截,甚至可能在事故进行到一半时失去访问。开源权重把使用策略和部署权一起交到团队手里——这正是官方博客点出的核心论点。对正在建设内部安全 Agent 的团队,ML4 加自托管意味着过滤策略由自己定义、服务可用性由自己保障。

82% 的复现-修复任务天然是可验证奖励,适合继续训练下游小模型。 HF 博客明确点了这条路——用 TRL 从 ML4 的修复轨迹做蒸馏微调,围绕自己的代码库、崩溃日志和样本库构建安全系统。复现成功与否可以机器判定,这是强化学习环境最理想的奖励形态。换句话说,这次开源的最大受益者可能不是直接调用 ML4 的团队,而是接下来几个月用它的轨迹训练垂直安全模型的团队。

MaaS 条款划了一条清楚的线。 自托管、内部使用、微调、商用全部免费;但把模型包装成对外服务需要另谈商业授权。选型时先判断自己的业务形态落在哪一侧,不要等到合规审查才发现边界。

硬件门槛要诚实面对。 FP8 全量约需 8 张 H200,NVFP4 需要 Blackwell;消费级只能在 2-bit 量化和 512GB 统一内存的极限配置上跑出 15 token/s 的生成速度。对多数团队,合理路径是云端推理或等蒸馏生态,而不是硬上全量。

我的判断

三个判断。第一,安全是开源模型目前最锋利的差异化场景——不是因为闭源模型不会,而是因为闭源的过滤层在这种任务上结构性失灵,ML4 用 82% 对接近零分把这个结构差异变成了实测数字。第二,许可证的 MaaS 条款是精准的商业模式设计,对绝大多数企业自用毫无影响,不必过度担心。第三,自托管 1T 级模型对普通团队仍然太贵,ML4 的真实打开方式是”顶配团队自托管 + 其他团队用它的轨迹蒸馏小模型”——后者才是这次开源对行业更大的撬动点。同日的 Granite Switch 4.1.1 则提醒我们,模型更新的另一条路(适配器热插拔)也在快速成熟,两条路线值得同时跟踪。

Q&A

Q1:来源和出处?

A:Mistral 官方开源公告(mistral.ai/news/mistral-large-4-oss,2026-10-29);Hugging Face 官方博客《Welcome Le Chonk: Mistral Large 4 on Hugging Face》(huggingface.co/blog/mistral-large4,2026-10-29);模型仓库 mistralai/Mistral-Large-4-1T-A52B 及 NVFP4 变体(huggingface.co);Mistral 预览公告与模型文档(mistral.ai/news/mistral-large-4,2026-10-06);IBM Granite Switch 4.1.1 公告(huggingface.co/blog/ibm-granite/granite-switch-4-1-1,2026-10-29)。本文所有数字均来自上述官方材料,未使用二手转述。

Q2:怎么验证?

A:权重公开可下载。最小验证路径——用 vLLM 拉起 NVFP4 版本(8 卡张量并行加专家并行),对照官方吞吐数字核对量级;消费级验证用 llama.cpp 加载 2-bit GGUF 单机跑通推理;安全方向可在 Cybench 公开题目子集上复测”复现-修复”通过率。

Q3:适用边界?

A:三类场景不适合——没有 H200 或 Blackwell 级硬件、又不能接受 2-bit 推理速度的本地全量部署;业务形态是对外提供模型服务(许可证要求商业授权);以及任何希望关闭推理过程来省钱的调用方式(推理不可关闭)。

Q4:和其他开源 Agent 模型相比,定位差在哪?

A:10 月中旬发布的另一款 501B 开源 MoE 旗舰是纯文本、Apache 2.0、面向通用编码 Agent;ML4 是原生多模态、许可证带 MaaS 条款、把防守安全当第一卖点。两者评测口径不同不可直接对比分数;在安全任务上,ML4 的 82% 复现-修复成绩是目前独有的论据。

Q5:最大的坑?

A:两个。一是激活参数口径(博客 49B 对仓库名 52B),部署前以仓库 config 为准;二是开源权重不等于操作免责——虽然使用策略在自己手里,但漏洞复现操作本身仍受所在司法辖区与目标系统授权范围约束,安全团队要把这层合规边界写进内部流程。


字数自检:正文约 3200 中文字符,含 4 处官方事实、3 项实测吞吐数字、5 个 Q&A
隐私自检:无内网 IP、无真实机器名、无用户相关信息;来源均为公开域名

本文阅读量 --
Author:Margrop
Link:https://blog.margrop.com/post/2026-11-01-mistral-large-4-open-weights-cyber-agent/
版权声明:本文采用 CC BY-NC-SA 3.0 CN 协议进行许可