Florence-VLFlorence-VL是一个视觉语言模型,通过引入生成式视觉编码器和深度广度融合技术,增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解,进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发,提供了预训练和微调的代码、模型检查点和演示。
DeepSeek-VL2-TinyDeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型,相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解、视觉定位等多项任务中展现出卓越的能力。DeepSeek-VL2由三种变体组成:DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2,分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下,与现有的开源密集型和基于MoE的模型相比,达到了竞争性或最先进的性能。
InternVL2_5-8B-MPOInternVL2.5-MPO是一个先进的多模态大型语言模型系列,它基于InternVL2.5和混合偏好优化构建。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型,包括InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。InternVL2.5-MPO在新版本中保留了与InternVL 2.5及其前身相同的模型架构,遵循“ViT-MLP-LLM”范式。该模型支持多图像和视频数据,通过混合偏好优化(MPO)进一步提升模型性能,使其在多模态任务中表现更优。
Pixtral-Large-Instruct-2411Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型,基于Mistral Large 2构建,展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像,同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能,是科研和商业应用的强大工具。
Janus-Pro-1BJanus-Pro-1B 是一个创新的多模态模型,专注于统一多模态理解和生成。它通过分离视觉编码路径,解决了传统方法在理解和生成任务中的冲突问题,同时保持了单个统一的 Transformer 架构。这种设计不仅提高了模型的灵活性,还使其在多模态任务中表现出色,甚至超越了特定任务的模型。该模型基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 构建,使用 SigLIP-L 作为视觉编码器,支持 384x384 的图像输入,并采用特定的图像生成 tokenizer。其开源性和灵活性使其成为下一代多模态模型的有力候选。
InternVL2_5-38BInternVL 2.5是OpenGVLab推出的多模态大型语言模型系列,它在InternVL 2.0的基础上进行了显著的训练和测试策略增强,以及数据质量提升。该模型系列能够处理图像、文本和视频数据,具备多模态理解和生成的能力,是当前多模态人工智能领域的前沿产品。InternVL 2.5系列模型以其高性能和开源特性,为多模态任务提供了强大的支持。
Google CameraTrapAIGoogle CameraTrapAI 是一个用于野生动物图像分类的 AI 模型集合。它通过运动触发的野生动物相机(相机陷阱)拍摄的图像来识别动物物种。该技术对于野生动物监测和保护工作具有重要意义,能够帮助研究人员和保护工作者更高效地处理大量的图像数据,节省时间并提高工作效率。该模型基于深度学习技术开发,具有高准确性和强大的分类能力。
StarVectorStarVector 是一个先进的生成模型,旨在将图像和文本指令转化为高质量的可缩放矢量图形(SVG)代码。其主要优点在于能够处理复杂的 SVG 元素,并在各种图形风格和复杂性上表现出色。作为开放源代码资源,StarVector 推动了图形设计的创新和效率,适用于设计、插图和技术文档等多种应用场景。