OLMo 2 1124 7B Preference Mixture

5个月前发布 2 00

OLMo 2 1124 7B Preference Mixture 是一个大规模的文本数据集,由 Hugging Face 提供,包含366.7k个生成对。该数据集用于训练和微调自然语言处理模型,特别是在偏好学习和用户意图理解方面。它结合了多个来源的数据,包括SFT混合数据、WildChat数据以及DaringAnteater数据,覆盖了...

收录时间:
2025-05-29
OLMo 2 1124 7B Preference MixtureOLMo 2 1124 7B Preference Mixture

OLMo 2 1124 7B Preference Mixture 是一个大规模的文本数据集,由 Hugging Face 提供,包含366.7k个生成对。该数据集用于训练和微调自然语言处理模型,特别是在偏好学习用户意图理解方面。它结合了多个来源的数据,包括SFT混合数据、WildChat数据以及DaringAnteater数据,覆盖了广泛的语言使用场景和用户交互模式。

一丢导航 - 上一丢,不易丢

数据统计

相关导航

INTELLECT-1-Instruct

INTELLECT-1-Instruct

INTELLECT-1-Instruct是一个由Prime Intellect训练的10亿参数语言模型,从零开始在1万亿个英文文本和代码token上进行训练。该模型支持文本生成,并且具有分布式训练的能力,能够在不可靠的、全球分布的工作者上进行高性能训练。它使用了DiLoCo算法进行训练,并利用自定义的int8 all-reduce内核来减少通信负载,显著降低了通信开销。这个模型的背景信息显示,它是由30个独立的社区贡献者提供计算支持,并在3个大洲的14个并发节点上进行训练。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...