On-device SoraOn-device Sora 是一个开源项目,旨在通过线性比例跳跃(LPL)、时间维度标记合并(TDTM)和动态加载并发推理(CI-DL)等技术,实现在移动设备(如 iPhone 15 Pro)上高效的视频生成。该项目基于 Open-Sora 模型开发,能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景,如短视频创作、广告制作等。项目目前开源,用户可以免费使用。
Diffusion as ShaderDiffusion as Shader (DaS) 是一种创新的视频生成控制模型,旨在通过3D感知的扩散过程实现对视频生成的多样化控制。该模型利用3D跟踪视频作为控制输入,能够在统一的架构下支持多种视频控制任务,如网格到视频生成、相机控制、运动迁移和对象操作等。DaS的主要优势在于其3D感知能力,能够有效提升生成视频的时间一致性,并在短时间内通过少量数据微调即可展现出强大的控制能力。该模型由香港科技大学等多所高校的研究团队共同开发,旨在推动视频生成技术的发展,为影视制作、虚拟现实等领域提供更为灵活和高效的解决方案。
长上下文调优(LCT)长上下文调优(LCT)旨在解决当前单次生成能力与现实叙事视频制作之间的差距。该技术通过数据驱动的方法直接学习场景级一致性,支持交互式多镜头开发和合成生成,适用于视频制作的各个方面。
LTXVLTXV是Lightricks推出的一个实时AI视频生成开源模型,它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力,优化了GPU和TPU系统,大幅减少了视频生成时间,同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术,确保了帧之间的连贯性,消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步,因为它不仅提高了效率,还提升了视频内容的质量。
AI Video Starting Kitvideo-starter-kit 是一个强大的开源工具包,用于构建基于 AI 的视频应用。它基于 Next.js、Remotion 和 fal.ai 构建,简化了在浏览器中使用 AI 视频模型的复杂性。该工具包支持多种先进的视频处理功能,如多剪辑视频合成、音频轨道集成和语音支持等,同时提供了开发者友好的工具,如元数据编码和视频处理管道。它适用于需要高效视频生成和处理的开发者和创作者。
SoraVidsSoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示,这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4,帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术,它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频,为研究和教育提供了宝贵的资源。
Go with the FlowGo with the Flow 是一种创新的视频生成技术,通过使用扭曲噪声代替传统的高斯噪声,实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改,即可在不增加计算成本的情况下,实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性,能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发,具有较高的学术价值和商业应用潜力,目前开源免费提供给公众使用。
Aleph AI – AI Video Editor & Video GeneratorAleph AI 是一款基于先进人工智能技术的视频编辑和生成工具,允许用户通过简单的文本提示来快速修改和生成视频。它能够以高效率和准确性进行复杂的视频编辑,适合各类创作者,无论是专业人士还是初学者,能够轻松实现他们的创意想法。Aleph AI 提供每次生成 10 个积分,并且在处理视频时支持商用许可,极大地降低了视频创作的门槛。