新浪科技讯 12月17日上昼音问，当天，图森改日讲求发布图生视频大模子“Ruyi”，并将Ruyi-Mini-7B版块讲求开源，用户不错从huggingface高下载使用。“Ruyi”专为在消耗级显卡（举例 RTX 4090）上开动而诡计， 并提供扫视的部署讲明和 ComfyUI 职责流，以便用户约略快速上手。

　　Ruyi因循最小384*384，最大1024*1024分别率，随性长宽比，最长120帧/5秒的视频生成。同期，不错因循最多5个肇端帧、最多5个收场帧基础上的视频生成，通过轮回重复不错生成随性长度的视频。在绽放幅度戒指方面，Ruyi提供了4档绽放幅度戒指，便捷用户对举座画面的变化过程进行戒指。在镜头戒指方面，Ruyi提供了上、下、左、右、静止共5种镜头戒指。

　　据先容，Ruyi是一个基于DiT架构的图生视频模子，它由两部分组成：一个Casual VAE模块负责视频数据的压缩妥协压，一个Diffusion Transformer负责压缩后的视频生成。其中Casual VAE模块会将空间分别率压缩至1/8，时辰分别率压缩至1/4，压缩后每个像素由16位的BF16进行暗示。DiT部分使用3D full attention，在空间上使用2D RoPE进行位置编码，时辰上使用sin_cos进行位置编码，最终的loss选择了DDPM进行锤真金不怕火。模子的总参数目约为7.1B，使用了约200M视频片断进行锤真金不怕火。

　　图森改日暗示，“Ruyi当今仍然存在手部无理、多东说念主时面部细节崩坏、弗成控转场等问题，咱们正在改良这些时弊，在日后的更新中对它们进行建筑。”

职守剪辑：郝欣煜 开云体育