近日,云從科技從容大模型在視覺領(lǐng)域再次取得重要進(jìn)展,基于視覺基礎(chǔ)大模型的目標(biāo)檢測器在檢測領(lǐng)域著名benchmark COCO數(shù)據(jù)集上從微軟研究院(MSR)、上海人工智能實(shí)驗(yàn)室、智源人工智能研究院等多家知名企業(yè)與研究機(jī)構(gòu)脫穎而出,刷新了世界紀(jì)錄。
云從科技從容大模型在COCO測試集上平均精度(以下簡稱mAP,mean Average Precision)達(dá)到0.662,位列榜單第一(見下圖)。在驗(yàn)證集上,單尺度取得mAP 0.656的佳績,多尺度TTA后mAP達(dá)到0.662,均達(dá)到世界領(lǐng)先水平。
大數(shù)據(jù)結(jié)合自監(jiān)督學(xué)習(xí) 打造視覺核心技術(shù)
以GPT為代表的大數(shù)據(jù)自監(jiān)督預(yù)訓(xùn)練已經(jīng)在自然語言理解(NLP)領(lǐng)域取得了令人矚目的突破,視覺領(lǐng)域方面,大數(shù)據(jù)結(jié)合自監(jiān)督學(xué)習(xí)的基礎(chǔ)模型訓(xùn)練也有重要進(jìn)展。
一方面,廣泛的視覺數(shù)據(jù)有助于模型學(xué)習(xí)通用的基礎(chǔ)特征。云從視覺基礎(chǔ)大模型,使用了超過20億的數(shù)據(jù),包括大量無標(biāo)簽數(shù)據(jù)集以及圖文多模態(tài)數(shù)據(jù)集,數(shù)據(jù)集的豐富多樣使得模型能夠提取到穩(wěn)健的特征,大大降低了下游任務(wù)的開發(fā)成本。
另一方面,自監(jiān)督學(xué)習(xí)不需要人工標(biāo)注,使得海量的無標(biāo)注數(shù)據(jù)訓(xùn)練視覺模型成為可能。云從對(duì)自監(jiān)督學(xué)習(xí)算法進(jìn)行了多方面的改進(jìn),使其能更適用于檢測、分割等細(xì)粒度任務(wù),在COCO檢測任務(wù)上取得好成績就是證明。
開放目標(biāo)檢測+零次學(xué)習(xí)檢測能力 大幅降低研發(fā)成本
得益于視覺基礎(chǔ)模型優(yōu)異性能,云從從容大模型能夠基于大規(guī)模圖文多模態(tài)數(shù)據(jù)訓(xùn)練支持上千類別目標(biāo)的零次學(xué)習(xí)(以下簡稱zero-shot)檢測,涵蓋能源、交通、制造等行業(yè)的各類目標(biāo)。
從容大模型zero-shot能力在不同數(shù)據(jù)集上的表現(xiàn)
zero-shot能夠模仿人類的這個(gè)推理過程,利用過去的知識(shí),在計(jì)算機(jī)中推理出新對(duì)象的具體形態(tài),從而使得計(jì)算機(jī)具有識(shí)別新事物的能力。
如何理解zero-shot?假設(shè)我們已知驢子和馬的形態(tài)特征,又已知老虎和鬣狗都是有條紋的動(dòng)物,熊貓和企鵝是黑白相間的動(dòng)物,我們定義斑馬是黑白條紋相間的馬科動(dòng)物。不看任何斑馬的照片,僅僅憑借推理,在動(dòng)物園一眾動(dòng)物中,我們也能夠找到斑馬。
云從視覺基礎(chǔ)大模型表現(xiàn)出很強(qiáng)的泛化性能,大大降低了下游任務(wù)所需的數(shù)據(jù)依賴與開發(fā)成本,同時(shí)zero-shot大幅提高了訓(xùn)練開發(fā)效率,使得廣泛應(yīng)用和快速部署成為可能。
全球權(quán)威人臉識(shí)別算法測試(NIST-FRVT)發(fā)布最新榜單,云從收獲三個(gè)第一
近日,ICCV2023 細(xì)粒度行為檢測挑戰(zhàn)賽(Open Fine Grained Activity Detection Challenge)順利結(jié)束,云從科技在行為分類賽道(以下簡稱OpenFAD23-ICCV23)中斬獲冠軍。
云從視覺基礎(chǔ)大模型表現(xiàn)出很強(qiáng)的泛化性能,大大降低了下游任務(wù)所需的數(shù)據(jù)依賴與開發(fā)成本,同時(shí)zero-shot大幅提高了訓(xùn)練開發(fā)效率,使得廣泛應(yīng)用和快速部署成為可能。
周一到周五9:30-18:00(北京時(shí)間)
商務(wù)合作:business@cloudwalk.com
媒體合作:Media@cloudwalk.com
渠道合作:business_partner@cloudwalk.com
人才招聘:zhaopin@cloudwalk.com
Copyright?2025 粵公網(wǎng)安備 44011502001099號(hào)
粵ICP備15087156號(hào) 云從科技集團(tuán)股份有限公司