222-InterPLM: PLM特征的稀疏自编码器发现

该研究介绍了一个名为 InterPLM 的系统框架，它利用稀疏自编码器（SAE）从蛋白质语言模型（PLM），特别是 ESM-2 中，提取并分析可解释的特征。作者发现，这些 SAE 特征能够识别出包括结合位点和结构基序在内的数千个生物学概念，这表明 PLM 将概念以叠加的方式存储在神经元中。通过将这些特征与已知生物注释进行对比，该研究证明了 SAE 特征在概念捕获方面的表现远优于原始神经元，并且随着模型规模的扩大，它们能捕获更丰富的生物学知识。此外，该工作还展示了利用大语言模型 (LLM) 自动描述这些特征，以及通过操纵特征激活来定向控制序列生成和识别数据库中缺失注释的实际应用。
References:
* Simon E, Zou J. Interplm: Discovering interpretable features in protein language models via s...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动