(資料圖)
國(guó)盛證券劉高暢在節(jié)目中表示,數(shù)據(jù)方面,高質(zhì)量的中文語料庫相對(duì)稀缺,會(huì)有一些誤差率的問題;算力方面,訓(xùn)練端對(duì)算力的要求不是很極限,但應(yīng)用端對(duì)算力的消耗非常顯著。
以下為文字精華:
提問:除了算法,人工智能訓(xùn)練的時(shí)候也需要很大的算力,包括海量的數(shù)據(jù),特別是我們中國(guó)跟海外的數(shù)據(jù)源可能還存在一些割裂。在算力和數(shù)據(jù)方面,我們和海外有多少差距?
劉高暢:數(shù)據(jù)方面,在GPT3以前用的都是互聯(lián)網(wǎng)的公開數(shù)據(jù),中文目前來看,客觀的條件就是高質(zhì)量的語料庫相對(duì)來講會(huì)稀缺一些。
在整個(gè)OpenAI的大模型中,我們了解到中文的語料庫使用只有5%,從誤差率的角度來講,英文可能在2%—3%,中文大概在10%以上。用中文去測(cè)試ChatGPT,效果也不如英文。但是,我們也看到國(guó)內(nèi)的高質(zhì)量語料庫在快速生成中,大家也在探索,包括知乎和萬方這樣的一些高質(zhì)量語料庫在形成。
大模型的數(shù)據(jù)還是以互聯(lián)網(wǎng)公開數(shù)據(jù)為主,可能在寫代碼這個(gè)階段,一些頂尖大廠比如微軟,代碼的水平會(huì)比較高,但是畢竟這一塊只是小部分,我們推測(cè)起不了決定性的作用,應(yīng)該不是特別大的瓶頸。OpenAI在去年GPT3.5的時(shí)候,大概用了45TB的數(shù)據(jù),做模型數(shù)據(jù)集處理和傾斜的部分應(yīng)該是不超過1TB的,所以其實(shí)是很少的數(shù)據(jù),這一點(diǎn)不用特別擔(dān)心。
算力方面,如果從訓(xùn)練端的角度來看,如果在GPT3以前,用2000張英偉達(dá)A100的算力,如果你訓(xùn)不出來成果,我們建議就不要去做了,說明這個(gè)團(tuán)隊(duì)水平有點(diǎn)問題。如果在GPT3.5以前,5000張如果訓(xùn)不出來,我們建議也不要再做訓(xùn)練了,說明這個(gè)團(tuán)隊(duì)多多少少有點(diǎn)問題。
我們認(rèn)為在訓(xùn)練階段,對(duì)算力的需求量沒有那么極限,國(guó)內(nèi)明面上和潛在的產(chǎn)業(yè)中的儲(chǔ)備我們認(rèn)為是夠的。
應(yīng)用端來看,做模型蒸餾和模型裁剪,把算力的消耗做到以前的90%,已經(jīng)是很高的縮減度了。但是就這樣的情況來看,算力還是會(huì)捉襟見肘,對(duì)未來算力的消耗還會(huì)非常顯著,包括我們國(guó)家的一些晶圓代工和設(shè)計(jì)廠商,這也是他們需要努力的地方,其實(shí)是機(jī)遇也是挑戰(zhàn)。
關(guān)鍵詞:
凡本網(wǎng)注明“XXX(非中國(guó)微山網(wǎng))提供”的作品,均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和其真實(shí)性負(fù)責(zé)。
在光伏硅料價(jià)格及碳酸鋰價(jià)格下跌趨勢(shì)中,儲(chǔ)能賽道或成為最大受益群體。有熟悉儲(chǔ)能產(chǎn)業(yè)的人士表示,2023年儲(chǔ)
2023-04-27 07:45
經(jīng)濟(jì)日?qǐng)?bào)頭版文章稱,關(guān)鍵核心技術(shù)必須牢牢掌握在自己手里。實(shí)現(xiàn)高水平科技自立自強(qiáng),要求企業(yè)承擔(dān)更大責(zé)任
2023-04-27 07:37
國(guó)際貨幣基金組織(IMF)駐華首席代表史蒂文·巴奈特在接受澎湃新聞旗下高端投資對(duì)話節(jié)目《首席連線》采訪時(shí)
2023-04-27 07:39
今年以來,多只醫(yī)藥主題基金業(yè)績(jī)表現(xiàn)喜人。業(yè)內(nèi)人士表示,近期醫(yī)藥公司一季度營(yíng)收業(yè)績(jī)陸續(xù)披露,不少來自創(chuàng)
2023-04-27 07:42
近日,多只踩著2億元底線成立的基金遭遇大額贖回,新發(fā)基金后續(xù)發(fā)展令人擔(dān)憂。不少成立時(shí)間不長(zhǎng)的基金已岌
2023-04-27 06:42
4月26日至27日舉行的中國(guó)汽車動(dòng)力電池產(chǎn)業(yè)創(chuàng)新聯(lián)盟大會(huì)預(yù)計(jì),2023年我國(guó)動(dòng)力電池裝車需求將達(dá)409 9GWh,同
2023-04-27 06:34
周三(4月26日)紐約尾盤,彭博谷物分類指數(shù)跌1 02%,報(bào)44 1871點(diǎn),一度走軟至44 1794點(diǎn),逼近2022年7月22日
2023-04-27 05:35
周三(4月26日),標(biāo)普公用事業(yè)板塊收跌2 37%,工業(yè)、保健、能源、原材料板塊跌幅介于1 87%-1 18%,金融板塊
2023-04-27 05:26
今年以來,A股市場(chǎng)已有6家公司退市摘牌。其中,中航機(jī)電(002013)因吸收合并退市,ST凱樂、ST榮華、ST西源、
2023-04-27 05:46
4月26日,中國(guó)核能可持續(xù)發(fā)展論壇2023年春季國(guó)際高峰會(huì)議召開,中國(guó)核能行業(yè)協(xié)會(huì)發(fā)布《中國(guó)核能發(fā)展報(bào)告》
2023-04-27 05:32