(相關(guān)資料圖)

繼今年7月在2023世界人工智能(161631)大會(huì)發(fā)起成立“中國大模型語料數(shù)據(jù)聯(lián)盟”，上海人工智能(161631)實(shí)驗(yàn)室于8月14日宣布，聯(lián)合語料數(shù)據(jù)聯(lián)盟成員單位，共同開源發(fā)布“書生·萬卷”1.0多模態(tài)預(yù)訓(xùn)練語料?！皶とf卷”1.0目前包含文本數(shù)據(jù)集、圖文數(shù)據(jù)集、視頻數(shù)據(jù)集三部分，本次開源的數(shù)據(jù)總量超過2TB。該語料數(shù)據(jù)包含超過5億個(gè)文本，2200萬個(gè)圖文交錯(cuò)文檔，1000個(gè)節(jié)目影像視頻，具備多元融合、精細(xì)處理、價(jià)值對(duì)齊、易用高效等四大特征。(上證報(bào))

關(guān)鍵詞