蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上

专题:2026北京智源大会

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第1张图片

  6月12日至13日 ,2026第八届北京智源大会在北京中关村国际创新中心举行 。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲。

  李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充,其在生成速度和可编辑性方面展现出显著优势。

  他解释到 ,扩散模型在图像生成领域已是主流范式,应用非常广泛 。正向过程是通过对图像逐步添加噪声直至变为白噪声,反向过程是从白噪声中逐步去噪 ,恢复出原始图像。

  而在语言领域 ,当前主流范式是“Next Token Prediction”。“就像打字机一样,我前面打出一个字,后面接着就依赖前面去产生下一个字 。扩散语言模型则将图像领域的范式迁移到语言中 ,可以像印刷机一样批量 、成批地输出词元 。 ”

  李建国以今年2月发布的LLaDA 2.1模型(可编辑扩散生成)与蚂蚁百灵2.0模型(100B参数)对比为例。LLaDA的生成速度约为1000 token/秒,而百灵2.0约为200 token/秒,速度相差4倍以上。

  他指出 ,从核心特性看,有两个速度,一个是传统的AR模型 ,一次只输出一个token,即使采用投机采样方法(如MTP)也只能做到2-3个 。另外一个速度,就是扩散语言模型 ,起步平均能做到5-6个,在代码生成、智能体等场景中,实际观察可超过10个 ,最高可达15个。

  此外 ,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误,可以通过“悔改”机制只修改错误的那一个位置,而无需重新生成整个序列 。

  新浪声明:所有会议实录均为现场速记整理 ,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

标签:

相关推荐

  • 山东新增本土确诊7例(山东新增确诊病例2841例)

    山东新增本土确诊7例(山东新增确诊病例2841例)

    临沂疫情最新消息(临沂疫情最新消息在哪里)截至8月10日11时,山东省高、中风险区已全部清零,全域为常态化防控区域。8月3日(含)以来有重点时段和地区旅居史、经停史的来临返临人员,在做好个人防护的前提下,立即向居住地所属社区(村)、工作单位或居住宾馆(酒店)进行报备,按要求配合做好核酸检测、隔离观察、健康监测等防疫措施。根据临沂疾控近期防疫提示:近7天(含...

  • 沥青最新实时行情(沥青行情最新消息)

    沥青最新实时行情(沥青行情最新消息)

    世界沥青市场最新费用动态〖壹〗、近期进口沥青世界市场费用受地缘政治、供应、需求等多重因素影响,整体呈现波动上涨态势,国内进口沥青借鉴费用同步联动世界市场走势近期费用具体动态期货市场:2025年3月26日,上期所沥青期货主力合约大幅上涨81%,报4527元/吨,盘中比较高触及4534元/吨,最低下探4361元/吨。〖贰〗、沥青一吨的费用大约在800元到3...

  • 尿素行情受什么影响/尿素费用会涨吗

    尿素行情受什么影响/尿素费用会涨吗

    尿素化肥行情是上涨还是下跌趋势尿素化肥行情近期呈现震荡上行趋势,但中长期可能面临下行压力。当前费用走势尿素现货费用自2026年1月以来持续震荡上行,华北地区小颗粒尿素主流出厂价近来在2200-2300元/吨区间波动,较1月初上涨约8%。市场供需失衡-需求端:农业春耕、秋播旺季时,大田作物、经济作物用肥量会短期暴涨,如果企业产能无法及时匹配需求,就会...

  • 黄金期货行情直室(黄金期货实时费用走势)

    黄金期货行情直室(黄金期货实时费用走势)

    新手黄金期货交易入门知识大全〖壹〗、黄金期货交易新手入门知识涵盖模拟账户学习、保证金交易策略、交易频率控制、顺势操作原则及严格止损管理五大核心要点,具体内容如下:运用模拟账户学习保证金交易新手应优先通过模拟账户熟悉保证金交易机制,避免直接开立真实账户。模拟阶段的核心目标是构建个人交易策略与操作模式,而非追求短期盈利。〖贰〗、新手应避免“交易瘾”,减少操作次...

  • 美伊局势升级提振避险美元,加元就业数据强劲限制美元兑加元涨幅

    美伊局势升级提振避险美元,加元就业数据强劲限制美元兑加元涨幅

      汇通财经APP讯——周一亚洲交易时段,美元兑加元震荡走高,汇价回升至1.4165附近,结束此前连续四个交易日的回落走势。随着美国与伊朗之间的军事冲突进一步升级,市场避险情绪持续升温,推动美元重新获得买盘支撑,而加元则受到世界油价上涨与国内经济数据向好的共同影响,限制了美元兑加元的进一步上涨空间。  美国军方近期再次对伊朗境内多个目标实施军事打击,行...

    2026/07/13
  • 【31省区市新增确诊2例,31省区市新增确诊22例新闻】

    【31省区市新增确诊2例,31省区市新增确诊22例新闻】

    11月30日31省份新增91例本土确诊(均在内蒙古)月30日0—24时,全国31个省(自治区、直辖市)和新疆生产建设兵团报告新增确诊病例113例,其中本土病例91例(均在内蒙古呼伦贝尔市),境外输入病例22例;新增无症状感染者14例,其中本土2例(均在内蒙古呼伦贝尔市)。月30日0—24时,国家卫健委公布全国31个省(自治区、直辖市)和新疆生产建设兵团新增...

  • 【期货行情吧,期货行情实时在线】

    【期货行情吧,期货行情实时在线】

    期货行情怎么看〖壹〗、用户只需在期货交易软件上直接查看即可。通常,在软件的行情界面或交易界面中,会有明确的买一至买卖一至卖五的显示。郑州商品期货交易所:在部分软件中,如电脑版的易盛极星软件,用户也可以免费查看到五档行情。但在其他软件中,可能默认只显示两档行情,用户需要查看五档行情时,需确认所使用的软件是否支持该功能。〖贰〗、期货的K线看涨跌主要通过观察K线...

    2026/07/13
  • 肇庆疫情/肇庆疫情怎么预防

    肇庆疫情/肇庆疫情怎么预防

    3月28日梅州疾控提醒有肇庆市旅居史来梅人员请报备月28日梅州疾控发布紧急提醒:3月13日以来有肇庆市旅居史的来(返)梅人员需主动报备,并配合开展健康管理措施。事件背景2022年3月27日0—24时,肇庆市新增2例本土确诊病例和5例本土无症状感染者,均来自高要区金利镇罗客村广众五金厂员工,已闭环转运至定点医院隔离治疗。月福建莆田回广东梅州需要报备。具体说明...

    2026/07/13
  • 郑州最新封控区范围/2021郑州最新封控区

    郑州最新封控区范围/2021郑州最新封控区

    郑州管控区有哪些(89号通告最新划分)〖壹〗、郑州市89号通告中管控区为按照第69号、75号、79号、80号、82号、84号、85号通告所划定封控区内的其他区域,但未直接给出具体管控区详细名单。管控区范围确定依据:89号通告明确,管控区是结合69号、75号、79号、80号、82号、84号、85号通告内容,将原封控区内的其他区域调整而来。〖贰〗、郑州市发布1...

  • 【云南新增本土7例,云南新增本土确诊1】

    【云南新增本土7例,云南新增本土确诊1】

    中国疫情到底有多严重〖壹〗、第前十规模疫情:2003年——严重急性呼吸综合征(SARS)疫情SARS是一种由SARS冠状病毒引起的传染病,主要通过飞沫和接触传播。2003年,中国爆发了SARS疫情,对公共卫生体系造成了巨大挑战。〖贰〗、香港、深圳、吉林、上海等地疫情:2022年,香港疫情大爆发,随后深圳、吉林等地也相继出现疫情,最严重的是上海也实施了封城...

返回顶部