Aria-Base-64K

12个月前发布 34 00

Aria-Base-64K是Aria系列的基础模型之一,专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成,经过33B个token(21B多模态,12B语言,69%为长文本)的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调,即使在资源有限的情况下,也可以通过短指令调优数据集进行后训练,并转移到长文本问答场景...

收录时间:
2025-05-29
Aria-Base-64KAria-Base-64K

Aria-Base-64K是Aria系列的基础模型之一,专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成,经过33B个token(21B多模态,12B语言,69%为长文本)的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调,即使在资源有限的情况下,也可以通过短指令调优数据集进行后训练,并转移到长文本问答场景。该模型能够理解多达250张高分辨率图像或多达500张中等分辨率图像,并在语言和多模态场景中保持强大的基础性能。

数据统计

相关导航

Janus-Pro-7B

Janus-Pro-7B

Janus-Pro-7B 是一个强大的多模态模型,能够同时处理文本和图像数据。它通过分离视觉编码路径,解决了传统模型在理解和生成任务中的冲突,提高了模型的灵活性和性能。该模型基于 DeepSeek-LLM 架构,使用 SigLIP-L 作为视觉编码器,支持 384x384 的图像输入,并在多模态任务中表现出色。其主要优点包括高效性、灵活性和强大的多模态处理能力。该模型适用于需要多模态交互的场景,例如图像生成和文本理解。
Pixtral Large

Pixtral Large

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型,基于Mistral Large 2构建,具备领先的图像理解能力,能够理解文档、图表和自然图像,同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异,特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力,超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL),以及适用于商业用途的Mistral Commercial License。
InternVL2_5-2B

InternVL2_5-2B

InternVL 2.5 是一个先进的多模态大型语言模型系列,它在InternVL 2.0的基础上,通过引入显著的训练和测试策略增强以及数据质量提升,维持了其核心模型架构。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型,例如InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。InternVL 2.5 支持多图像和视频数据,具备动态高分辨率训练方法,能够在处理多模态数据时提供更好的性能。
Jamba 1.6

Jamba 1.6

Jamba 1.6 是 AI21 推出的最新语言模型,专为企业私有部署而设计。它在长文本处理方面表现出色,能够处理长达 256K 的上下文窗口,采用混合 SSM-Transformer 架构,可高效准确地处理长文本问答任务。该模型在质量上超越了 Mistral、Meta 和 Cohere 等同类模型,同时支持灵活的部署方式,包括在本地或 VPC 中私有部署,确保数据安全。它为企业提供了一种无需在数据安全和模型质量之间妥协的解决方案,适用于需要处理大量数据和长文本的场景,如研发、法律和金融分析等。目前,Jamba 1.6 已在多个企业中得到应用,如 Fnac 使用其进行数据分类,Educa Edtech 利用其构建个性化聊天机器人等。
Qwen2.5-Turbo

Qwen2.5-Turbo

Qwen2.5-Turbo是阿里巴巴开发团队推出的一款能够处理超长文本的语言模型,它在Qwen2.5的基础上进行了优化,支持长达1M个token的上下文,相当于约100万英文单词或150万中文字符。该模型在1M-token Passkey Retrieval任务中实现了100%的准确率,并在RULER长文本评估基准测试中得分93.1,超越了GPT-4和GLM4-9B-1M。Qwen2.5-Turbo不仅在长文本处理上表现出色,还保持了短文本处理的高性能,且成本效益高,每1M个token的处理成本仅为0.3元。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...