dolmino-mix-1124
DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集,用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据,旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。
Aya模型是一个大规模的多语言生成性语言模型,能够在101种语言中遵循指令。该模型在多种自动和人类评估中优于mT0和BLOOMZ,尽管它覆盖的语言数量是后者的两倍。Aya模型使用包括xP3x、Aya数据集、Aya集合、DataProvenance集合的一个子集和ShareGPT-Command等多个数据集进行训练,并在Apache-2.0许可下发布,以推动多语言技术的发展。