InternVL2_5-4B-MPO

11个月前发布 24 00

InternVL2.5-MPO是一个先进的多模态大型语言模型系列,基于InternVL2.5和混合偏好优化构建。该模型集成了新增量预训练的InternViT和各种预训练的大型语言模型,如InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。它支持多图像和视频数据,并且在多模态任务中表现出色,能够理解和生成与图像相关的文...

收录时间:
2025-05-29
InternVL2_5-4B-MPOInternVL2_5-4B-MPO

InternVL2.5-MPO是一个先进的多模态大型语言模型系列,基于InternVL2.5和混合偏好优化构建。该模型集成了新增量预训练的InternViT和各种预训练的大型语言模型,如InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。它支持多图像和视频数据,并且在多模态任务中表现出色,能够理解和生成与图像相关的文本内容。

数据统计

相关导航

Qwen2vl-Flux

Qwen2vl-Flux

Qwen2vl-Flux是一个结合了Qwen2VL视觉语言理解能力的FLUX框架的先进多模态图像生成模型。该模型擅长基于文本提示和视觉参考生成高质量图像,提供卓越的多模态理解和控制。产品背景信息显示,Qwen2vl-Flux集成了Qwen2VL的视觉语言能力,增强了FLUX的图像生成精度和上下文感知能力。其主要优点包括增强的视觉语言理解、多种生成模式、结构控制、灵活的注意力机制和高分辨率输出。
InternViT-6B-448px-V2_5

InternViT-6B-448px-V2_5

InternViT-6B-448px-V2_5是一个基于InternViT-6B-448px-V1-5的视觉模型,通过使用ViT增量学习与NTP损失(阶段1.5),提升了视觉编码器提取视觉特征的能力,尤其是在大规模网络数据集中代表性不足的领域,如多语言OCR数据和数学图表等。该模型是InternVL 2.5系列的一部分,保留了与前代相同的“ViT-MLP-LLM”模型架构,并集成了新增量预训练的InternViT与各种预训练的LLMs,包括InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。
UniTok

UniTok

UniTok是一种创新的视觉分词技术,旨在弥合视觉生成和理解之间的差距。它通过多码本量化技术,显著提升了离散分词器的表示能力,使其能够捕捉到更丰富的视觉细节和语义信息。这一技术突破了传统分词器在训练过程中的瓶颈,为视觉生成和理解任务提供了一种高效且统一的解决方案。UniTok在图像生成和理解任务中表现出色,例如在ImageNet上实现了显著的零样本准确率提升。该技术的主要优点包括高效性、灵活性以及对多模态任务的强大支持,为视觉生成和理解领域带来了新的可能性。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...