斯坦福大学研究人员正在通过一项新研究和一个新 AI 模型简化癌症诊断、治疗规划和预后预测。这项名为“多模态统一掩码建模 Transformer”（MUSK）的研究旨在推进精准肿瘤学的发展，以便根据每位患者特有的医疗数据为其量身定制治疗方案。
该研究的资深学者、放射肿瘤学副教授李瑞江表示：“多模态基础模型是医学 AI 研究的一个新领域。最近已经出现了一些医学领域的视觉语言基础模型，尤其是病理学领域，但当前研究使用的仍是现有的基础模型，这些模型需要使用配对图像-文本数据进行预训练。尽管在付出巨大的努力后，已整理出 100 万对病理图像-文本，但仍不足以完全覆盖整个疾病谱的多样性。”
肿瘤学家在考虑患者病情和规划最佳治疗方案时需要参考许多数据来源。但整合和解释复杂的医疗数据对于医生和 AI 模型来说仍然十分困难。最近发表在《自然》上的这项研究解释了 MUSK 如何帮助医生做出更加准确、明智的决定并解决医疗 AI 领域这一长期存在的难题。
通过使用深度学习，MUSK 可以处理临床文本数据（例如医生笔记）和病理图像（例如组织学切片），识别医生可能无法立刻察觉的模式，从而获得更好的临床洞察。
为此，MUSK 使用了一个两阶段多模态 Transformer 模型。该模型首先学习大量未配对的数据，从文本和图像中提取有用的特征，然后通过连接成对的图像和文本数据调整对数据的理解。这有助于它识别不同类型的癌症、预测生物标志物并提出有效的治疗方案。
研究人员在该领域最大的数据集之一上对该 AI 模型进行了预训练，共使用了来自 11577 名患者的 5000 万张病理图像，涉及 33 种肿瘤类型和 10 亿病理相关文本数据。
据该研究的第一作者、放射物理学博士后 Jinxi Xiang 介绍，此次预训练历时 10 天，使用了 8 个节点共计 64 颗 NVIDIA V100 Tensor Core GPU 帮助 MUSK 高效处理海量病理图像和临床文本。二次预训练阶段和消融研究使用了 NVIDIA 80 gb Tensor Core GPU。研究人员还使用 NVIDIA RTX GPU 评估下游任务，并使用 NVIDIA CUDA 和 NVIDIA cuDNN 库加速整个框架以提高性能。
在 23 项病理学基准测试中，MUSK 在几个关键领域的表现优于现有的 AI 模型。该模型擅长将病理图像与相关医学文本进行匹配，从而更有效地收集相关患者信息。它还能解释病理学相关问题，例如识别癌变区域或预测生物标志物的存在，准确率达到 73%。
图 1 MUSK 可以执行的视觉问题解答示例
MUSK 可将乳腺癌、肺癌和结直肠癌等癌症亚型的检测和分类的准确率提高 10%，为早期诊断和治疗规划提供了帮助。它还能检测出乳腺癌生物标记物，AUC（一项衡量模型准确性的指标）为 83%。
此外，MUSK 预测癌症生存结果的准确率为 75%，预测肺癌和胃食管癌对免疫疗法反应的准确率为 77%，准确率明显高于通过标准临床生物标志物进行预测，该预测的准确率仅为 60-65%。
李瑞江表示：“整合了多模态数据的 AI 模型明显优于那些仅基于图像或文本数据的模型，这凸显了多模态方法的强大威力。MUSK 的真正价值在于它能够利用大规模的非配对图像和文本数据进行预训练，相比当前需要配对数据的模型有了明显的提升。”
这项研究的核心优势在于只需少量训练就能适应不同的临床环境。这可以提高肿瘤学工作流的效率，帮助医生更快地诊断癌症，同时为患者量身定制疗效更好的治疗方案。
该研究组之后的工作重点是在不同机构、不同人群的患者队列以及治疗决策等高风险用途中验证该模型。研究人员表示要获得监管部门的批准，还需要在临床试验中进行预期验证。
李瑞江表示：“我们还在努力将数字病理学的 MUSK 方法扩展到其他类型的数据，例如放射学图像和基因组数据等。”
现在可在 GitHub 上获得该研究组的研究成果，包括安装说明、模型权重、评估代码和样本数据：
https://github.com/lilab-stanford/ MUSK