每日經濟新聞 2024-11-18 22:37:59
每經記者 楊昕怡 每經編輯 張海妮
正如這家公司的名字一般,月之暗面,總是一個令人好奇的存在。11月16日下午,在Kimi Chat上線一周年之際,公司創始人楊植麟罕見現身,在多家媒體面前走出了“登月”第二步。
“如果說長文本是月之暗面‘登月’的第一步,那么提升模型深度推理能力則是第二步。”當日,身穿一件黑色公司文化衫的楊植麟發布了新一代數學能力可對標OpenAI o1系列的數學推理模型k0-math。當新模型在眾人面前進行數學題“測試”時,這位原本略顯羞澀的90后“創業明星”終于來到了自己的主場,看著數字、公式一行行地彈出,興奮地講解著其中的原理。
據介紹,這是Kimi推出的首款推理能力強化模型,采用了全新的強化學習和思維鏈推理技術,這與楊植麟對行業技術發展的判斷方向一致,“接下來最重點的東西會在強化學習上,范式上會產生變化,它還是Scaling(擴展),只是通過不同的方式去Scale”。
在k0-math的表現方面,月之暗面方面披露,在中考、高考、考研以及包含競賽題的MATH等數學基準測試中,k0-math初代模型成績已經超過o1-mini和o1preview模型,僅次于o1完全版。
“月之暗面大概率能說是,在OpenAI o1發布后,國內首個摸索出并實現o1思路的公司。”一位國內頭部互聯網公司的大模型技術人員在接受《每日經濟新聞》記者采訪時表示,“現在國內想要趕超o1的大模型團隊都會以數學領域為第一步,因為不需要大量的標注數據,成本最低,而且有可驗證的標準答案。”
月之暗面的下一步是什么?“Kimi目前最核心的任務是提升留存。”楊植麟在接受《每日經濟新聞》記者采訪時表示,“基本上它跟你的技術成熟度或者技術水平也是一個正相關的關系,所以對我們當前來說是最重要的。假設我們以最后AGI這個目標作為衡量,我覺得現在還在初級階段。”
數據顯示,截至今年10月,Kimi月活已超3600萬人,而且在持續增長。
11月16日,月之暗面宣布推出新一代數學推理模型k0-math,其數學能力可對標全球領先的OpenAI o1系列可公開使用的兩個模型。圖為k0math模型發布現場。 月之暗面供圖
接下來重點在強化學習
發布會上,月之暗面公布了k0-math的目前測評得分:在業界最常使用的數學能力基準測試MATH中,k0-math模型得分93.8分,超過o1-mini的90分和o1-preview的85.5分,僅次于o1完全版的94.8分。
“什么樣的場景最適合讓AI鍛煉思考能力?我們認為是數學場景。”發布會現場,楊植麟表示,在訓練該模型的過程中,最重要的是看其是否真正具備深度思考的能力。
據介紹,相較于以盡快提供答案為關鍵目標的常規模型,k0-math模型在做題過程中會花更長的時間來推理,包括思考和規劃思路,并且在必要時自行反思改進解題思路,提升答題的成功率。
不過,楊植麟也指出,雖然k0-math模型擅長解答大部分很有難度的數學題,但是當前版本還無法解答LaTeX格式難以描述的幾何圖形類問題。此外,它可能會對“1+1=?”這樣過于簡單的數學問題進行過度思考,對于解決高考難題和IMO(國際數學奧林匹克競賽試題)依然有一定局限性。
根據月之暗面的介紹,k0math模型采用了全新的強化學習和思維鏈推理技術,這也是業內普遍認為OpenAI o1系列的技術關鍵所在,行業范式也在因此發生改變。
“AI的發展就像蕩秋千,我們會在兩種狀態之間來回切換:有時候,算法、數據都很完備了,但是算力不夠,我們要做的就是加算力;但今天我們發現,不斷擴大算力規模不一定能直接解決問題,所以這時就需要通過改變算法,來突破瓶頸。”楊植麟表示。
就業內對Scaling Law(規模法則)逐漸放緩的看法,楊植麟認為,預訓練還有空間,大概半代到一代的模型,這個空間會在明年釋放出來,“明年,我覺得領先的模型會把預訓練做到一個比較極致的階段”。
“但我們判斷,接下來最重點的東西會在強化學習上,就是范式上會產生一些變化。本質上,它還是Scaling,并不是不用Scale,只是說你會通過不同的方式去Scale,這是我們的判斷。”他表示。
同時,他指出,該數學推理模型的推出,一方面在教育產品、Kimi整體的流量里有非常大的價值;另一方面,該模型上的技術可以放在更多場景里,比如讓Kimi探索版去做更多的搜索。
最核心的是提升留存
在今年6月的一次媒體采訪中,楊植麟多次以“聚焦”作為對創業思路、成功經驗的回應,“在技術和產品上可能我們都希望更加聚焦”,“因為你如果什么東西都做了,可能最后也很難做好”。
不久前,有消息稱,月之暗面幾位出海產品負責人已于近期離職創業。此外,今年9月,月之暗面決定停止更新兩款已上線的出海產品——Ohai和Noisee,暫時收縮了出海to C(面向消費者)應用。
在發布會現場,楊植麟間接回應了上述市場傳言:“我們沒有人才流失,我們主動做了業務減法。”
這一思路的確定在今年春天,楊植麟觀察了月之暗面的具體發展并對美國市場進行了判斷,得出結論:的確得做減法,而不是瘋狂做加法。
“我們一開始嘗試過幾個產品一塊做,這在一定時期內奏效,但后來發現,這樣就活生生把自己變成大廠了,沒有任何優勢。”楊植麟將鎖定“聚焦”視為過去一年較大的課題,“砍業務本質上也是在控制人數。這幾個大模型創業公司里,我們始終保持人數最少,始終保持(顯)卡和人的比例最高,這非常關鍵。我們不希望團隊擴那么大,這對創新有致命性傷害。另外我們也會根據美國市場的情況,判斷哪個業務做大的概率更高”。
聚焦Kimi,當下最為核心的任務是什么?楊植麟在接受《每日經濟新聞》記者采訪時給出了答案:提升留存,“永無止境”。
“因為留存是技術成熟的重要指標,并且(現在的留存)還有非常大的提升空間。我們的模型能力跟產品指標是高度相關的。”他解釋,“目前我們的模型可能思考能力還不夠強,交互還不夠豐富,我們把這些東西做得更好之后,留存會進一步上升。”
第三方機構QuestMobile發布的《中國移動互聯網2024年秋季報告》顯示,截至2024年9月AIGC App月度活躍用戶同比增長393.9%,豆包、文小言、Kimi智能助手App月活用戶分別達到4197.6萬人、1191.5萬人和1024.8萬人,活躍用戶3日留存率分別為39.1%、31.2%和32.2%。
在發布會上,楊植麟表示,截至2024年10月,Kimi月活已超3600萬人,而且數據在持續增長。
在行業的多模態進展方面,界面新聞曾報道,Runway聯合創始人曾在11月9日公開表示,OpenAI計劃在大約兩周內發布Sora。
楊植麟透露,內部幾個多模態的能力在內測,“關于多模態,我覺得AI接下來最重要的是思考和交互這兩個能力。思考的重要性遠大于交互,不是說交互不重要,我覺得思考會決定上限,交互是一個必要條件”。
在OpenAI出新牌后,Kimi又一次成為國內第一個“跟牌者”,在這場焦灼的牌局中,楊植麟和月之暗面拿出了留到最后的決心。
封面圖片來源:月之暗面
如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP