心电图基座模型,用语言模型的路子训
一篇论文把 12 导联心电先切成 P 波、QRS 波群、T 波和基线四类片段,再当词元做掩码预训练,用了超过 80 万份未标注记录。读完你会知道医疗基座的瓶颈到底是不是样本量。
心电图上真正有诊断价值的,是几个波形之间的关系。多数自监督方法把它当成一条普通序列,或者一张图。
一、发生了什么
QECGBERT 的切入点是:既然心电图有明确的生理结构,就按结构切词。作者把每条 12 导联记录切成四类片段——P 波、QRS 波群、T 波、等电位基线,再用向量量化的自编码器把每段变成词元。
有一个细节值得注意:量化会丢形态,所以词元里额外拼上了连续的波形特征。这样保住了细节,又没有拉长序列长度。序列短,才能用紧凑的 BERT 式掩码语言建模,训练和推理成本都低于长序列方案。
预训练用了 MIMIC-IV 里超过 80 万份未标注心电图。微调和评测在三个公开标注集上:PTB-XL、CPSC2018,以及 Chapman-Shaoxing-Ningbo。
结果,作者的表述是「与已发表的基准相当或更优」。摘要没给具体数字——没有 F1、没有 AUROC,也没有分病种表现。
边界:80 万份是预训练规模,三个评测集的样本量摘要没写。更关键的是,「相当或更优」没有说明对比对象是谁、用什么划分、是否同一切分协议。这篇投的是 IEEE ICASSP 2027,属于投稿版本,结论还可能变。
补一点同主题背景。这是背景,不是论文结论:心电的公开标注集长期偏小,而且各数据集的采集设备、导联位置、人群分布都不一样,跨数据集掉分是常态。这也是医疗方向特别看重「大规模无标注预训练」的原因——能拿到的无标注信号,比能拿到的标注多出好几个数量级。
二、跟你有什么关系
做医疗算法的:把领域结构编进分词器,比换更大的骨干网络便宜。这条路对脑电、肌电、心音同样成立。
医院信息科、器械厂商:模型的成本结构比准确率更早决定它能不能落地。短序列意味着更小的显存占用和更快的响应。
做罕见病筛查的:论文的动机就写在罕见病上——标注数据不够,监督学习走不通。自监督预训练是当下最现实的解法。
三、怎么用
读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。- 先确认数据能不能对齐到「波段」这一级。切不出稳定的 P 波、QRS 波群、T 波,这套分词无从谈起,得先解决信号质量和导联一致性。
- 走「大规模无标注预训练加小样本微调」。手上只有几千份标注时,直接监督训练大概率不如这条路。
- 验收必须分病种报。整体 AUROC 会被常见节律问题拉高,而罕见病恰恰是这套方法声称要解决的问题。分病种之后如果只有常见类涨,说明模型学到的还是人群统计,不是波形。
四、三个别信的说法
「80 万份数据就是护城河。」 数量是入场券。真正的差异在分词方式,以及量化之后怎么保住形态。
「相当或更优就等于更好。」 摘要没有数字,也没有列比较对象。投稿阶段的表述,等同行评议之后再看。
「基座模型的瓶颈是标注量。」 这篇的前提是标注贵、罕见病标注更贵,所以绕开标注。但绕开标注不等于绕开验证——评测集仍然是人工标的。
五、一句话结论
医疗基座的关键不是喂多少条记录,是按生理结构把一条记录切成有意义的词。
信息来源
- arXiv:QECGBERT,用波形词元做心电自监督基座模型(2026-10-25)
功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。