Switch Transformers by Google BrainSwitch Transformers是一种用于扩展到万亿参数模型的模型,通过简单和高效的稀疏性实现了对大规模语言模型的训练和预训练加速。
Megatron-LMMegatron-LM是一个用于大规模Transformer语言模型训练的开源工具,支持高效的模型并行和多节点预训练,以及混合精度训练,适用于各种自然语言处理任务和大规模数据集的训练。