一台 GB200、零文本,训出会插话的语音模型

语音模型Blockfull-duplex语音AI多模态

数据源:Block 官方发布 + HN 讨论 + web research

两台机器实时对话,人不在场

2026 年 10 月 23 日,Jack Dorsey 的 Block 发布了语音模型 Dessa 的公开 demo。页面里最特别的一段音频,是 Dessa 和第三方模型 GPT-Live-1 的实时对话:两个声音都是 AI,边说边听、互相接话,全程没有一个人类参与。同一页上还有一行声明:GPT-Live-1 的开发方与 Block 无关联,未审阅、也未背书 Dessa。

把一段「AI 对 AI」的实时对话放进公开发布,传递的信息很直接:这次发布的核心卖点就是 full-duplex(全双工)——模型在你说话的同时就在听、在处理、在决定什么时候接话。等你停止说话才开始响应的回合制语音助手,展示不出这种能力。

做 Dessa 的团队规模很小,是 Block 内部的一个 AI 研究实验室,成员来自多伦多深度学习创业公司 Dessa。这批人从 2012 年起做深度学习模型,生成式语音模型做了超过八年,直接向 Jack Dorsey 汇报。模型形态是 audio in / audio out 的真 speech-to-speech;训练从零开始,数据只有人类对话音频——没有一个字的文本,也没有任何预训练模型打底。

把文本从语音管线里整个拿掉,是这次发布里分量最重的决定。情绪、语气、打断的时机,这些只存在于声音里的信息,在「语音转文字、LLM 处理、文字转语音」的常规管线上,第一步就会被丢掉;Dessa 让模型直接从声音里学语言,这部分信息就留在了训练信号里。代价同样摆在明处:只用声音学语言,模型接触到的知识密度和广度,撑不起一个读过整个互联网的对手。看这次发布,产品视角只能覆盖一半,另一半是它做了一场正面实验——智能可以从哪种模态里长出来,各自的代价是什么。

整轮训练只用一台机架

Block 给出的第一个数字是数据效率:Dessa 学会语言所用的词数,比 LLM 少几百倍。文本模型的语言能力建立在海量文本之上,Dessa 只靠人说出口的话就完成了语言习得。数据效率差出几个数量级,指向一个工程判断:语言的声音部分,用很少的数据就能学会;文本模型吞下的海量数据,大头花在知识上。

第二个数字是算力:整轮训练只用了一台 NVIDIA GB200 NVL72——机架级系统,72 块 GPU。Hacker News 评论区有人估算这套硬件的采购成本在 400 万到 600 万美元之间。放在前沿大模型训练动辄上万卡、连转数月的参照系里,一台机架从零训出能实时对话的语言模型,把「学会对话」的算力门槛从行业级拉回到一个实验室付得起的水平。

推理侧的数字同样关键:Dessa 推理快于实时,本地部署的最低门槛是一台 MacBook Pro M4 Max 或更强的机器。快于实时是 full-duplex 的入场券,响应慢于你说话的速度,接话和打断都无从谈起。门槛压到一台笔记本,外部研究者才可能在本地反复压测它——后面那场风险测试能组织起来,前提就在这里。

没人教它什么时候笑

能力清单里信息量最大的是这一组:情绪、讽刺、笑声、叹息、声音发颤,Dessa 原生处理。这些信号在文本里根本不存在,常规语音助手拿到转写文字的那一刻就把它们丢掉了;Dessa 的训练信号里只有声音,这些东西成了它必须学的内容。你说话时它插进来的那句「yeah!」「got it!」(backchannel,附和)也在此列——那是人听人讲话时的自然反应,回合制助手给不出来。

笑的时机更能体现差异。Dessa 会在句子中间被逗笑,笑点到了就笑,等不到你说完再按 cue 补上。官方还举了一个例子:你对它说「说大声点」,它就真的变大声。Block 对此的原话是「没人教过它这个」——副语言行为没有被标注过,是从对话音频里自己长出来的。

官方 demo 页的多段演示都是真人出镜,和模型对话的包括团队研究者 Rayhane、实习生 Jibran 等多个人。用真实身份出镜、把自己人的对话做成公开素材,等于把「这些能力来自可查的真实对话」摊开给所有访客验证。

官方演示页面中人类一方的头像

图:官方 demo 页里人类一方的头像。出镜者 Rayhane 是团队研究者本人——作者用自己和模型的真实对话做公开演示,素材没法与团队切割。来源:block.xyz/dessa

另一段官方演示中人类一方的头像

图:另一段官方演示的人类一方头像,出镜者 Jibran 是实习生。出镜者覆盖到普通团队成员,公开素材没有只挑研究者。来源:block.xyz/dessa

二十秒之后,那边没人在

Hacker News 的讨论把模型的另一面摆上了桌。听感最自然的那批演示,得到的评价里有代表性的一条:「仔细听它实际说的话,背后明显没什么智力」。有用户描述得更具体:听十几二十秒之后,会产生「那边没人在」的感觉。

这个批评和 Block 自己的叙事能对上。会接话、会笑、听得出情绪,这些能力全长在「对话流程」这一层;话里装多少真东西属于另一层,只用声音学语言的模型在这层天然吃亏——声音里有语言,知识的仓库主要建在文本里。 这是 Dessa 已经付掉的那部分代价。

讨论里也有替第一版说话的声音:v1 把预算花在对话流程上、内容先往后放,这个取舍可以理解,流程是 full-duplex 的地基,地基立不住,内容堆上去也摆不稳。对硬实力的认可同样存在:「能在本地复现那种延迟和表现力,是很了不起的成就」。紧跟着的质疑对准了包装——用一个 400 万美元的机架训出来的模型,挂上「indie AI」的标签并不合适;省钱要看参照系,放在大模型行业里是零头,放在独立开发者的语境里仍然是一整套机架的预算。

外部研究者第一次来测风险

Block 给一小批 AI 安全研究者提供了提前访问,主动征集「我们没预料到的风险」。征集理由写在官方原话里:「AI 越来越强、越来越独立,却对你声音里的痛苦近乎全聋。」这句话同时也是对整个语音 AI 行业的判断:文本模型读得到你打的字,读不到你声音里的迟疑和发颤,而语音正是人和人之间传递情绪的主通道。

风险和能力来自同一个源头。一个模型能听出你声音发颤、听出你在强撑,同样的信号通路也能反过来用于操纵——什么时候该安抚、什么时候该推销,声音里的情绪都是入口。full-duplex 让模型多出一个实时通道:能在你没说完时打断你、能顺着你的情绪走,风险面和回合制助手不同构。

Block 把外部研究者放进发布流程,等于承认这类模型的能力边界需要外部视角来量。由外部研究者上手测风险的语音模型实验,此前没有先例。先摸清边界再谈产品化,这个顺序被写进了这次发布本身。

这笔账要两边一起算

Dessa 交出来的证据是双向的。声音这一侧,文本管线常年丢弃的东西——语气、讽刺、打断时机——被保了下来,模型因此学会了什么时候插话、什么时候笑,这些能力在「转文字再转回来」的架构里没有位置。知识这一侧,只用耳朵学语言的模型,广度和密度跟读文本的模型差着一截,HN 那句「背后明显没什么智力」点中的就是这一层。

两个结论同时成立。一台 GB200 NVL72 加上几百倍的词数差距,把「从声音里学语言」从设想变成了跑在 MacBook 上的实物;「目前还不够聪明」的评语同样成立。这场实验的产出清单上有两项:full-duplex 对话流程可以只用一台机架训出来;知识的重量,眼下仍然要靠文本去搬。

Dessa 在知识面上赢不了任何读文本的模型,这次发布的价值也不靠它赢。它把「只从声音学语言」的天花板和地板同时放到了台面上:天花板是对话流程的自然度,地板是知识密度。会接话、会笑的耳朵,和装不下多少学问的记忆,出现在同一个模型里——声音能长出对话,长不出学问。 这条边界从 10 月 23 日起第一次有了实测数据,画线的是一台机架和几百倍的词数差距。

参考链接:

  • Block Dessa 官方发布页
  • Hacker News 社区讨论帖