在 Transformer 架构的基础上,微云全息基于“Masked 预训练”策略。这种策略最初源于 BERT 模型在语言理解任务中的成功经验,被证明能够有效捕捉序列中元素间的深层次关系。微云全息研究团队将其迁移到红外光谱数据建模中,提出了一种自监督学习框架,用于从大规模无标签的红外光谱数据中自动学习鲁棒特征。