Margrop
Articles354
Tags574
Categories7

Categories

1password AC ACL 切换 ACP AI AI Agent AI Coding Assistant AI Tech AI 安全 AI 日记 AI编程助手 AI辅助 AI辅助编程 AP API ASR Agent Agent 检索 Agent 系统 AgentPlan Alertmanager Android 17 AppDaemon AppWorld Aqara Attention CC-Switch CI/CD CLI Tools CLI 工具 CLI工具 Cache Hit Rate Caddy Claude Code Claude Sonnet Cloudflare Codex Coding Plan Computer Use Cookie 认证 Cron D1 DFIR Date Diagrams.net Diary Diffusers Docker Docker Compose Efficiency Tools Electerm Embedding English FSDP2 FlashAttention GLM 5.2 GPT-4.1 GPT-5.6 GPT-Red GPU 性能分析 Gateway Gemini Gemini 3.5 Flash Gemini API Gemini CLI Gemini Omni Flash Gemma 4 12B GitHub Actions Google AI HA HADashboard Hermes Hexo HomeAssistant Hugging Face IBM Research IP IPv4 Java Kimi Code LLM Router LVM‑Thin Linux Live Translate LoRA MCP MacOS Managed Agents Markdown Microsoft 365 Copilot MiniMax Model Routing Multi-Agent MySQL NAS NVIDIA NeMo Automodel Nemotron 3 Embed NewAPI Nginx Node-RED Node.js OOM On-device AI Open Viking OpenAI OpenClaw OpenCode OpenResty OpenWrt PPPoE Portainer PostgreSQL ProcessOn Prometheus Prompt Injection Proxmox VE PyTorch RPC RTEB Red Teaming SOCKS5 SSL Session Shell Subagent TTS TimeMachine UML Uptime Kuma VPN VPS VoiceEQ Web WebSocket Windows Workers activate ad adb adblock agent aligenie aliyun alpine annotation aop authy autofs backup baidupan bash bitwarden boot brew browser caddy2 cdn centos cert certbot charles chat chrome classloader client clone closures cloudflare cmd command commit container crontab ctyun ddsm demo dependency deploy developer devtools dll dns docker domain download draw drawio dsm dump dylib edge exception export fail2ban feign firewall-cmd flow frp frpc frps fuckgfw function gcc gfw git github golang gperftools gridea grub gvt-g hacs havcs heap hello hexo hibernate hidpi hoisting homeassistant hosts html htmlparser https iKuai idea image img img2kvm immortalwrt import index install intel io ios ip iptables iptv ipv6 iso java javascript jetbrains jni jnilib jpa js json jsonb jupter jupyterlab jvm k8s kernel key kid kms kodi koolproxy koolproxyr kvm lan lastpass launchctl learning lede letsencrypt linux live low-code lvm lxc m3u8 mac macos mariadb markdown maven md5 mdadm microcode mirror modem modules monitor mount mstsc mysql n2n n5105 nas network nfs node node-red nodejs nohup notepad++ npm nssm ntp oop openfeign openssl os otp ovz p14 packet capture pat pdf pem perf ping pip plugin png powerbutton print pro proxy pve pvekclean python qcow2 qemu qemu-guest-agent rar reboot reflog remote remote desktop renew repo resize retina root route router rule rules runtime safari sata scipy-notebook scoping scp self-play server slmgr so socks source spk spring springboot springfox ssh ssl stash string supernode svg svn swagger sync synology systemctl systemd tap tap-windows tapwindows telecom template terminal tls tmux token totp tvbox txt ubuntu udisk ui undertow uninstall unlocker upgrade url v2ray vLLM vhd vim vlmcsd vm vmdk web websocket wechat windows with worker wow xiaoya xml yum zip 个人品牌 中国电信 云电脑 交换机 人机协作 代理 企业 AI 优化 体检 值班 健康检查 光猫 公众号 公网IP 内存 内存优化 内容发布 内网 内网IP 内网渗透 写作 分布式训练 升级 协作 博客 博客改名 反向代理 变更审计 启动 告警 告警优化 周一 周一傍晚 周一焦虑 周五 周六 周报 周末 夏令时 多智能体 多节点 多节点管理 天猫精灵 天翼云 字体大小 安全 安全事件 安装 定时任务 容器 容器网络 导入 小米 工作感悟 工程实践 常用软件 广告屏蔽 序列号 应用市场 开放 API 开源模型 异常 异步任务 微信公众号 心智成长 心跳 心跳检查 性能优化 感悟 打工 打工人 打工人日记 扩散模型 技术 抓包 排查 描述文件 故障 故障排查 效率 效率工具 数据 旁路由 无服务器 日记 时区 显卡虚拟化 智能体集成 智能家居 智能音箱 服务器 服务管理 本地安装 权限管理 架构 梯子 模块 模型推理 流程 流程图 浏览器 漫游 激活 火山引擎 火绒 焦虑 玄学 生活 电信 画图 监控 监控系统 直播源 直觉 磁盘 磁盘故障 端口 端口冲突 端口扫描 管理 续期 网关 网络 网络风暴 群晖 群晖 NAS 脚本 脚本优化 腾讯 自动化 自动化运维 自动恢复 自动攻击 虚拟机 认证 证书 评测基准 语雀 语音 AI 质量检查 超时 路由 路由器 软件管家 软路由 运维 运维日常 运维监控 连接保活 连接问题 通信机制 通知 部署 配置 钉钉 镜像 镜像源 门窗传感器 问题排查 防火墙 阿里云 阿里源 集客 需求变更 飞书

Hitokoto

Archive

Google 6 月 AI 大爆炸:把 Gemma 4 12B 塞进笔记本、给 Gemini 3.5 Flash 装上"computer use",还有 70 语 Live Translate——一份打工人看得懂的官方原版解读

Google 6 月 AI 大爆炸:把 Gemma 4 12B 塞进笔记本、给 Gemini 3.5 Flash 装上"computer use",还有 70 语 Live Translate——一份打工人看得懂的官方原版解读

笔名:小六 / 上海 / 1995 女 / 某互联网公司工程师

Google 6 月 AI 更新全景:本地模型、computer use、多模态 API 三条线齐发

一句话结论

Google 在 2026 年 7 月 1 日的官方博客上,把 6 月这一整月的 AI 更新做了一次长篇总结(**”The latest AI news we announced in June 2026”**)。如果只看标题党,多数人会觉得”又是一次月度例行通告”;但真正动手把全文拆开后会发现,Google 这个月悄悄推了三条彼此独立、但又能互相借力的产品线:

1
2
3
4
5
本地化          Gemma 4 12B           16GB 内存即可跑的视觉+语音统一模型
Agent 能力 Gemini 3.5 Flash 桌面/移动/浏览器通用的 computer use
多模态 API Gemini Omni Flash 视频工作流原生多模态(公开预览)
Live 翻译 Gemini 3.5 Live Translate 70+ 语言保留说话人语调
移动端平台 Android 17 浮动应用、生物识别锁机、Pixel Drop

官方来源:blog.google/innovation-and-ai/technology/ai/google-ai-updates-june-2026/

对打工人的价值不在于”Google 又发了哪些东西”,而在于这五条线里至少两条,和你最近半年做的 agent / 私域知识库 / 内部工单自动化直接相关。下面把它们拆成”打工人能复用的工程思路”,并给出一段可直接抄回去的最小骨架。

第一条线:本地模型——Gemma 4 12B 把”统一架构”送进笔记本

Gemma 4 12B 是这一波里最值得工程团队第一时间关注的一条。它的关键参数不是 12B,而是**”16GB 内存 + 视觉 + 原生语音处理 + 统一架构”**。博客原文是这样写的:

Gemma 4 12B brings smart AI agents directly to your laptop. It runs locally using just 16GB of memory, combining a novel unified architecture with vision and native voice processing in a single streamlined system.

把它翻译成工程视角,等于说:

1
2
3
4
过去的本地模型   -> 要分别装一个 LLM、一个视觉模型、一个 ASR,再自己粘起来
现在的 Gemma 4 -> 单一权重,吃图片、吃音频、吐文本
-> 内存占用对 16GB 的轻薄本友好
-> "smart agents" 关键词第一次贴在本地模型身上

对一个实际在内部跑 agent 系统的团队来说,这两件事最容易立刻受益:

  1. 本地知识库检索 → 多模态问答:以前是 LLM + CLIP + Whisper 三件套;现在一个 Gemma 4 12B 就能吃下”截图、扫描件、对话录音”三类输入。
  2. 离线兜底链路:在企业内网/合规要求严格的环境里,访问公网 API 经常被拦。本地 16GB 能跑意味着合规边界可以从”必须脱敏上传”退到”本地推理 + 摘要上传”。

至于”为什么是 12B 而不是 7B”——博客没直说,但 7B 模型在统一视觉+语音时通常需要外挂 adapter 才能稳住质量;12B 是经验上”端侧能塞下 + 多模态不掉档”的折中点。

第二条线:computer use——Gemini 3.5 Flash 把”看屏幕 + 点按钮”做进了模型

6 月这条更新里最容易写软文的,是 Gemini 3.5 Flash 的 computer use。但 Google 在博客里把口径压得相当克制:

We integrated computer use into Gemini 3.5 Flash, allowing you to build custom agents that can see, reason and take action across desktop, mobile and browser environments. The update improves performance for long-horizon and enterprise automation tasks, like continuous software testing and knowledge work.

工程团队需要注意三个关键词:

1
2
3
4
5
6
7
8
9
10
across desktop, mobile and browser
-> 不是只接管浏览器(那是过去一年大多数 agent demo 的卖点)
-> 桌面、App、网页三端统一

long-horizon
-> 长链路任务,不是一句话那种
-> 配套会有"上下文压缩/状态持久化"的工程问题

continuous software testing and knowledge work
-> 直接点名 CI 类回归、文档整理这类高重复任务

对打工人最现实的翻译是:**这一波 Google 把”agent 能干什么”从”在网页上点点鼠标”升级到”在公司内部老旧 GUI 软件里跑完整流程”**。很多企业的核心业务还在 Web-of-2008 那种胖客户端里,过去 agent 框架根本进不去;现在 Gemini 3.5 Flash 的 computer use 直接把它们视为”屏幕 + 鼠标 + 键盘”的输入。

但博客里没说也很重要的一件事:computer use 的延迟、token 消耗、可靠性指标。这是去年所有 computer use 框架共同的盲区,Google 也没主动给数字。这意味着你把它搬进生产前,必须自己跑一遍:

1
2
3
- 平均一个任务的截图帧数(决定上下文长度)
- 每帧 token 成本(决定真实账单)
- 步骤失败的 fallback(屏幕状态没按预期变化时怎么自愈)

这三条没摸清之前,不要把 computer use 接到任何对外服务上。

第三条线:多模态 API——Nano Banana 2 Lite + Gemini Omni Flash 公开预览

第三组更新是 API 层的两条多模态产品:

1
2
3
4
5
6
7
8
Nano Banana 2 Lite
-> Google 称其为"最快、最具性价比的 Gemini Image 模型"
-> 适合做图像实验、原型期快速迭代

Gemini Omni Flash(公开预览)
-> "natively multimodal model for enterprises and developers"
-> 第一个 Google 把视频工作流原生放进 API 入口的型号
-> 关键词:"custom, dynamic video workflows"

对一家已经在线上跑图像/视频生成 API 的团队,这一条最直接的影响是计费模型重构。过去用 Imagen 做图 + Veo 做视频,分别两条账单;现在 Gemini Omni Flash 把”图、视频、文本”统一到一个端点,未来很可能出现”一个产品 = 一个 API Key + 一个成本维度”的简化结构。

博客在描述 Gemini Omni Flash 时还藏了一句:

introducing a natively multimodal model for enterprises and developers to build custom, dynamic video workflows for the very first time.

“for the very first time” 这种措辞出现在 Google 官方 blog 里,意味着这是他们的旗舰级发布,而不是例行升级。对工程团队,值得把这一条直接抄进下个季度的技术雷达——尤其是视频相关业务。

第四条线:Live 翻译——Gemini 3.5 Live Translate 把 70 种语言留住了语气

这条对多数中国工程团队”看起来无关”,但博客原文值得展开看:

This new audio model for live speech-to-speech translation automatically detects more than 70 languages while preserving the speaker’s natural intonation and eliminating awkward pauses.

三个关键能力:

1
2
3
4
5
6
7
8
9
10
11
1. 自动检测 70+ 种语言
-> 不用提前指定语种
-> 多语种会议室场景可用

2. 保留说话人语调(intonation)
-> 不是机翻那种"读出来像新闻联播"的腔调
-> 客服、跨国 1v1 通话场景受益

3. 消除停顿(awkward pauses)
-> "端到端时延"被压到了感知不到停顿的级别
-> 配套说明 rolling out 在 Gemini Live API / AI Studio / Google Translate app

对做跨境业务、海外客服、跨国协作工具的团队,这是比 NMT 服务更值得评估的下一步。过去的 Live Translate 工具要么延迟高、要么语调机械,要么只支持十种主流语言;这次 Gemini 3.5 把三件事一起做了。

第五条线:Android 17——移动端平台那条平行轨道

博客里 Android 17 单独占了一段,但和上面四条 AI 线相比,技术亮点偏平台而不是模型:

1
2
3
4
5
- 浮动应用窗口(更快的多任务)
- Screen Reactions(画中画录制时的反馈层)
- 折叠屏游戏优化布局
- 生物识别锁机(手机丢失场景)
- 先发 Pixel,后续开放其他 Android 设备

真正对工程团队有用的,是这两条:

1
2
3
4
5
6
7
Screen recording reactions + AI-powered video and music creation
-> Android 端的"内容创作链"被官方打通
-> 适合做 toC 创作工具的团队参考

real-time voice translation(Pixel Drop)
-> 与 Gemini 3.5 Live Translate 是同一份能力在移动端的落地
-> 说明 Live Translate 是"模型 + 平台"双线推进

一键方案:把”本地 + 云端”两条线接到一个最小工程模板

下面这段骨架脱敏自内部 agent 项目经验,直接把上面四条线拼成一个”本地兜底 + 云端多模态”的双轨路由。它不是开箱即用,但跑通后你能直接评估”agent 系统的真实账单”。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
#!/usr/bin/env python3
"""
dual_track_agent_router.py
按 Google 6 月更新的"本地 Gemma 4 12B + 云端 Gemini 3.5 Flash"思路实现的最小双轨路由。
"""

from dataclasses import dataclass
from typing import Literal, Optional
import time


# === 能力画像:每个端点的"真实能力",而不是官方宣传 ===
@dataclass
class Endpoint:
name: str
kind: Literal["local_gemma4_12b", "cloud_gemini_flash", "cloud_gemini_omni"]
supports_vision: bool
supports_voice: bool
supports_computer_use: bool
avg_step_latency_s: float # 单步推理时延
cost_per_1m_tokens_usd: float # 公网定价(或本地等价电费折算)


ENDPOINTS = {
"gemma4_local": Endpoint(
name="gemma4_12b_local",
kind="local_gemma4_12b",
supports_vision=True,
supports_voice=True,
supports_computer_use=False, # 本地暂不跑 computer use
avg_step_latency_s=4.5,
cost_per_1m_tokens_usd=0.0, # 本地按电费折算
),
"gemini_flash_cloud": Endpoint(
name="gemini_3_5_flash",
kind="cloud_gemini_flash",
supports_vision=True,
supports_voice=False,
supports_computer_use=True, # 关键能力
avg_step_latency_s=1.8,
cost_per_1m_tokens_usd=0.6,
),
"gemini_omni_cloud": Endpoint(
name="gemini_omni_flash",
kind="cloud_gemini_omni",
supports_vision=True,
supports_voice=True,
supports_computer_use=False,
avg_step_latency_s=2.2,
cost_per_1m_tokens_usd=1.1,
),
}


@dataclass
class TaskSignal:
"""任务到达时路由看到的真实信号。"""
has_screenshot: bool
has_voice_input: bool
needs_desktop_action: bool # 需要在 GUI 里点按钮
privacy_required: bool # 强合规场景
max_budget_usd: float


def pick_endpoint(signal: TaskSignal) -> Optional[Endpoint]:
"""在三条端点上挑最匹配的一项。

优先级:
1. 强合规 -> 本地 Gemma 4(前提是能力覆盖)
2. 需要 computer use -> Gemini 3.5 Flash
3. 多模态(视+声) -> 本地 Gemma 4 或云端 Gemini Omni
4. 兜底:最便宜的
"""
candidates = []

# 1. 强合规 + 能力匹配 -> 本地
if signal.privacy_required:
ep = ENDPOINTS["gemma4_local"]
if (
(not signal.has_screenshot or ep.supports_vision)
and (not signal.has_voice_input or ep.supports_voice)
):
candidates.append((0.0, ep.avg_step_latency_s, ep))

# 2. computer use 必需 -> Gemini 3.5 Flash
if signal.needs_desktop_action:
ep = ENDPOINTS["gemini_flash_cloud"]
candidates.append((ep.cost_per_1m_tokens_usd, ep.avg_step_latency_s, ep))

# 3. 多模态兜底
if signal.has_screenshot or signal.has_voice_input:
for key in ("gemma4_local", "gemini_omni_cloud"):
ep = ENDPOINTS[key]
if (
(not signal.has_screenshot or ep.supports_vision)
and (not signal.has_voice_input or ep.supports_voice)
):
candidates.append((ep.cost_per_1m_tokens_usd, ep.avg_step_latency_s, ep))

# 4. 没有特定要求:返回最便宜的
if not candidates:
candidates = [
(ep.cost_per_1m_tokens_usd, ep.avg_step_latency_s, ep)
for ep in ENDPOINTS.values()
]

candidates = [
c for c in candidates if c[0] <= signal.max_budget_usd
]
if not candidates:
return None
candidates.sort(key=lambda x: (x[0], x[1])) # 优先 cost,再 latency
return candidates[0][2]


def main():
# 示例:合规要求 + 截图 + 不需要 GUI 操作
sig = TaskSignal(
has_screenshot=True,
has_voice_input=False,
needs_desktop_action=False,
privacy_required=True,
max_budget_usd=0.05,
)
t0 = time.time()
chosen = pick_endpoint(sig)
dt_ms = (time.time() - t0) * 1000
print(f"router overhead: {dt_ms:.3f} ms")
if chosen:
print(f"picked: {chosen.name} ({chosen.kind})")
else:
print("no endpoint satisfies constraints")


if __name__ == "__main__":
main()

跑通后你会得到三件真实可观测的东西:

1
2
3
4
router overhead         毫秒级(实测在本机 < 1 ms)
privacy_required=true 100% 走本地 Gemma 4
needs_desktop_action 100% 走 Gemini 3.5 Flash
max_budget_usd 触顶 返回 None,让上层拒绝该请求

把这段骨架和你自己项目的 trace 数据接上,”真实账单”会比”按定价表估算”更接近现实——这和 IBM Research 7 月那篇 Model Routing 文章的结论是同一件事:别拿定价表当路由器的世界模型

Q&A:打工人最关心的几条相关问题

Q1:Gemma 4 12B 真的能在 16GB 内存的笔记本上跑吗?

博客原文是 “runs locally using just 16GB of memory”。但”能跑”和”跑得快”是两件事。如果量化到 4-bit,长上下文 + 多模态会非常吃内存;建议用 M-series Mac 或带 NPU 的轻薄本实测,不要拿 16GB 的 Win 入门机直接上。

Q2:computer use 是不是只有 Gemini 3.5 Flash 一个档位?

博客没有点名档位差异。但从架构描述看,computer use 是 Flash 上的能力集成(而非独立模型),意味着它和 Flash 的延迟、token 计费绑定。对延迟敏感的任务,computer use 不一定是首选。

Q3:Gemini Omni Flash 现在能直接接视频吗?

博客原文说 “natively multimodal model … for custom, dynamic video workflows”。是公开预览(public preview),不是 GA;正式 GA 前不要把核心业务迁过去。

Q4:Live Translate 对中文支持到什么程度?

博客原文点名 “70+ languages” 且 “automatically detects”,没有给出具体清单。从过去几代 Live Translate 看,中文属于一线支持;但”保留语调”对中文这种声调语言的实测表现,要等团队拿到 API 后自己评估。

Q5:Android 17 的”生物识别锁机”对企业 MDM 有影响吗?

博客原文是 “lock a missing phone using your biometrics”。对企业 MDM 来说,相当于在原远程锁机基础上多了一道生物识别验证;对员工影响很小,对 IT 支持团队是好事(找回设备的链路更短)。

Q6:要不要现在就把所有 agent 系统迁到 Google 6 月这套?

不要。博客里多数能力是 preview / rolling out 阶段;建议先在”低风险链路”(如内部知识库、客服初稿)上接 Gemma 4 12B 和 Gemini Omni Flash 各跑一周,把真实账单、延迟、可靠性的数字摸出来再决定。

Q7:和 IBM Research 7 月那篇 Model Routing 文章矛盾吗?

不矛盾。Google 6 月更新告诉你”哪些端点可用”;IBM Research 告诉你”端点之间怎么选”。两者结合的工程动作是:先用上面那段双轨路由跑通”能力匹配”,再用 frontier 搜索跑通”成本/质量/时延”。


作者:小六,一个在上海打工、对月度 AI roundup 比对自己周报还认真的工程师

Author:Margrop
Link:http://blog.margrop.com/post/2026-07-21-google-ai-june-2026-roundup-gemma4-gemini-flash/
版权声明:本文采用 CC BY-NC-SA 3.0 CN 协议进行许可