OpenAI新模型GPT-5或?qū)o(wú)緣明年發(fā)布
AI的下一個(gè)飛躍似乎沒(méi)法準(zhǔn)時(shí)報(bào)道了。據(jù)外媒報(bào)道,OpenAI在推進(jìn)其下一代核心模型GPT-5(代號(hào)Orion)的開(kāi)發(fā)正面臨重重困難,該項(xiàng)目已開(kāi)發(fā)超過(guò)18個(gè)月,成本花費(fèi)巨大卻仍未取得預(yù)期成果。
本文引用地址:http://cafeforensic.com/article/202412/465753.htm內(nèi)部消息透露OpenAI已經(jīng)完成了至少兩次大型訓(xùn)練運(yùn)行,希望通過(guò)對(duì)大量數(shù)據(jù)的訓(xùn)練來(lái)改進(jìn)模型。然而,訓(xùn)練進(jìn)程較預(yù)期滯后,預(yù)示著更大規(guī)模的訓(xùn)練任務(wù)不僅耗時(shí)冗長(zhǎng),而且經(jīng)濟(jì)成本高昂。
估算顯示,GPT-5一次為期6個(gè)月的訓(xùn)練僅計(jì)算成本就高達(dá)約5億美元。OpenAI首席執(zhí)行官薩姆·阿爾特曼(Sam Altman)則表示,未來(lái)的AI模型成本預(yù)計(jì)將超過(guò)10億美元。
模型的測(cè)試是一個(gè)持續(xù)的過(guò)程,大規(guī)模的訓(xùn)練運(yùn)行可能需要幾個(gè)月的時(shí)間,數(shù)萬(wàn)億個(gè)token會(huì)被“投喂”給模型。想要讓GPT-5變得更智能,就需要更多高質(zhì)量、多樣化的數(shù)據(jù),為解決這一問(wèn)題,OpenAI選擇從頭開(kāi)始創(chuàng)建數(shù)據(jù) —— 他們雇傭軟件工程師和數(shù)學(xué)家等專業(yè)人士編寫(xiě)新代碼或解決數(shù)學(xué)問(wèn)題,以此作為訓(xùn)練數(shù)據(jù)。另外,OpenAI也開(kāi)始開(kāi)發(fā)“合成數(shù)據(jù)”,利用AI生成的數(shù)據(jù)來(lái)訓(xùn)練Orion,并認(rèn)為可以通過(guò)使用其另一個(gè)AI模型o1生成的數(shù)據(jù)來(lái)避免故障。
值得注意的是,薩姆·阿爾特曼此前已公開(kāi)承認(rèn),隨著AI模型復(fù)雜度急劇上升,公司在多線程項(xiàng)目管理,尤其是計(jì)算資源的高效配置上,正面臨前所未有的挑戰(zhàn)。鑒于此,OpenAI已預(yù)計(jì)GPT-5將無(wú)緣下一年發(fā)布。
OpenAI首席產(chǎn)品官Kevin Weil進(jìn)一步闡釋了公司的當(dāng)前戰(zhàn)略重心,強(qiáng)調(diào)在推動(dòng)視頻模型Sora進(jìn)入下一階段重大升級(jí)之前,將致力于提升模型的安全性、模擬精準(zhǔn)度以及計(jì)算規(guī)模的可擴(kuò)展性,確保各項(xiàng)標(biāo)準(zhǔn)均達(dá)到行業(yè)頂尖水平。
OpenAI的下一個(gè)旗艦?zāi)P涂赡懿⒉幌衿淝拜吥菢哟碇薮蟮娘w躍,盡管新模型的性能超過(guò)了OpenAI的現(xiàn)有模型,但與從GPT-3到GPT-4的躍升過(guò)程中所看到的相比,新模型的性能提升幅度較小。
評(píng)論