全面對標Sora 生數科技聯合清華推出國內首個純自研視頻大模型 | 大模界

每經記者｜可楊    每經編輯｜魏官紅    

4月27日，在中關村論壇未來人工智能先鋒論壇上，生數科技聯合清華大學正式發布中國首個長時長、高一致性、高動態性視頻大模型Vidu。

據悉，該模型采用Diffusion（擴散概率模型）與Transformer融合的架構U-ViT，支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內容。生數科技方面介紹，與Sora一致，Vidu能夠根據提供的文本描述直接生成長達16秒的高質量視頻。

生數科技方面介紹，其核心技術U-ViT架構由團隊于2022年9月提出，早于Sora采用的DiT架構，是全球首個Diffusion（擴散概率模型）與Transformer融合的架構，完全由團隊自主研發。

Vidu所生成的短片，采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉換是直接且連續的，在底層算法實現上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

所謂插幀即通過在視頻的每兩幀畫面中增加一幀或多幀來提升視頻的長度或流暢度。這種方法需要對視頻進行逐幀處理，通過插入額外的幀來改善視頻長度和質量，是一個分步驟的過程。但Vidu與Sora則是通過單一步驟直接生成高質量的視頻，無需經過多個步驟的關鍵幀生成和插幀處理。

2023年3月，生數科技團隊開源全球首個基于U-ViT架構的多模態擴散大模UniDiffuser，在全球范圍內率先完成融合架構的大規?？蓴U展性（Scaling Law）驗證。UniDiffuser是在大規模圖文數據集LAION-5B上訓練出的近10億參數量模型，支持圖文模態間的任意生成和轉換。在架構上，UniDiffuser比同樣是DiT架構的Stable Diffusion 3領先了一年。

生數科技表示，大模型的突破是一個多維度、跨領域的綜合性過程，需要技術與產業應用的深度融合。因此在發布之際，生數科技正式推出“Vidu大模型合作伙伴計劃”，誠邀產業鏈上下游企業、研究機構加入，共同構建合作生態。

生數科技成立于2023年3月，公司創始團隊來自清華大學人工智能研究院，是全球范圍內最早從事擴散概率模型研究的團隊之一。截至目前，生數科技已完成數億元融資，投資方包括啟明創投、螞蟻集團、BV百度風投、達泰資本、錦秋基金、卓源亞洲等知名機構。

封面圖片來源：視覺中國-VCG31N2008743681