中國(guó)電信發(fā)布全自研視頻生成大模型

每經(jīng)記者｜楊卉    每經(jīng)編輯｜張海妮    

12月2日至12月5日，“2024數(shù)字科技生態(tài)大會(huì)”在廣州舉辦。期間，中國(guó)電信在首屆“TeleAI開發(fā)者大會(huì)”上發(fā)布了視頻生成大模型、視覺大模型產(chǎn)用一體化平臺(tái)、具身智能、智傳網(wǎng)等一系新品，成立不久的TeleAI研究院也一同亮相。

《每日經(jīng)濟(jì)新聞》記者在現(xiàn)場(chǎng)了解到，此次電信發(fā)布的視頻生成大模型為首個(gè)央企全自研視頻生成大模型，打造了“VAST（Video As Storyboard from Text）二階段視頻生成技術(shù)”，可通過文本描述勾勒出包含視頻構(gòu)圖、主體目標(biāo)位置及人物姿態(tài)等關(guān)鍵信息的“故事板”（Storyboard），進(jìn)而生成對(duì)應(yīng)的視頻內(nèi)容。

圖片來源：每經(jīng)記者 楊卉 攝

中國(guó)電信方面表示，得益于VAST的創(chuàng)新能力，視頻生成大模型可以保證單個(gè)或多個(gè)主體人物在各視頻片段中的外觀一致性，實(shí)現(xiàn)對(duì)復(fù)雜動(dòng)作和交互式動(dòng)作的精確控制，并讓角色和目標(biāo)物體的運(yùn)動(dòng)符合物理規(guī)律。

基于此，通過語(yǔ)義、語(yǔ)音、文生圖、文生視頻等全棧大模型能力打通短劇及影視制作的各個(gè)環(huán)節(jié)；覆蓋文字腳本撰寫、分鏡腳本繪制、視頻拍攝及剪輯、配音及音效合成等全流程，實(shí)現(xiàn)降本增效。

除了視頻生成大模型，中國(guó)電信還發(fā)布了基于知識(shí)的視圖萬(wàn)物布控視覺大模型。根據(jù)中國(guó)電信的介紹，視覺大模型現(xiàn)已升級(jí)至TeleSearch 2.0—基于知識(shí)的視圖萬(wàn)物布控，可實(shí)現(xiàn)動(dòng)態(tài)知識(shí)掛載和行業(yè)事件認(rèn)知，并驅(qū)動(dòng)復(fù)雜邏輯理解。

TeleSearch 2.0目標(biāo)是打破模態(tài)間的信息孤島，支持上百個(gè)專業(yè)知識(shí)文檔掛載，在理解文檔內(nèi)容的基礎(chǔ)上可根據(jù)復(fù)雜長(zhǎng)語(yǔ)句精準(zhǔn)檢索圖片和視頻，從而完成跨模態(tài)復(fù)雜語(yǔ)義準(zhǔn)確理解及超萬(wàn)種目標(biāo)精準(zhǔn)檢索。

依托TeleSearch 2.0，中國(guó)電信構(gòu)建了視覺大模型產(chǎn)用一體化平臺(tái)，通過算法冷啟動(dòng)回流數(shù)據(jù)，可實(shí)現(xiàn)0訓(xùn)練數(shù)據(jù)直接推理，并支持小樣本訓(xùn)練。中國(guó)電信透露，目前該平臺(tái)已成功應(yīng)用于多省應(yīng)急項(xiàng)目，沉淀了20余個(gè)應(yīng)急全流程感知場(chǎng)景，提升對(duì)災(zāi)害研判與應(yīng)急響應(yīng)的核心能力。