4 月 25 日消息， 科技 媒體 marktechpost 昨日（4 月 24 日）發(fā)布博文，報(bào)道稱 Meta 公司發(fā)布 WebSSL 系列模型，參數(shù)規(guī)模從 3 億到 70 億，基于純圖像數(shù)據(jù)訓(xùn)練， 旨在探索無(wú)語(yǔ)言監(jiān)督的視覺(jué)自監(jiān)督學(xué)習(xí)（SSL）的潛力。

以 OpenAI 的 CLIP 為代表，對(duì)比語(yǔ)言-圖像模型已成為學(xué)習(xí)視覺(jué)表征的默認(rèn)選擇，在視覺(jué)問(wèn)答（VQA）和文檔理解等多模態(tài)任務(wù)中表現(xiàn)突出。不過(guò)受到數(shù)據(jù)集獲取的復(fù)雜性和數(shù)據(jù)規(guī)模的限制，語(yǔ)言依賴面臨諸多挑戰(zhàn)。

Meta 公司針對(duì)上述痛點(diǎn)，在在 Hugging Face 平臺(tái)上發(fā)布了 WebSSL 系列模型，涵蓋 DINO 和 Vision Transformer（ViT）架構(gòu)，參數(shù)規(guī)模從 3 億到 70 億不等。

這些模型僅使用 MetaCLIP 數(shù)據(jù)集（MC-2B）中的 20 億張圖像子集進(jìn)行訓(xùn)練，排除了語(yǔ)言監(jiān)督的影響。Meta 的目標(biāo)并非取代 CLIP，而是通過(guò)控制變量，深入評(píng)估在不受數(shù)據(jù)和模型規(guī)模限制下，純視覺(jué)自監(jiān)督學(xué)習(xí)（SSL）的表現(xiàn)潛力。

WebSSL 模型采用兩種視覺(jué)自監(jiān)督學(xué)習(xí)范式：聯(lián)合嵌入學(xué)習(xí)（DINOv2）和掩碼建模（MAE）。訓(xùn)練統(tǒng)一使用 224×224 分辨率圖像，并凍結(jié)視覺(jué)編碼器以確保結(jié)果差異僅源于預(yù)訓(xùn)練策略。

模型在五個(gè)容量層級(jí)（ViT-1B 至 ViT-7B）上訓(xùn)練，評(píng)估基于 Cambrian-1 基準(zhǔn)測(cè)試，覆蓋通用視覺(jué)理解、知識(shí)推理、OCR 和圖表解讀等 16 個(gè) VQA 任務(wù)。此外，模型無(wú)縫集成于 Hugging Face 的 transformers 庫(kù)，便于研究和應(yīng)用。

實(shí)驗(yàn)揭示了多項(xiàng)關(guān)鍵發(fā)現(xiàn)：隨著參數(shù)規(guī)模增加，WebSSL 模型在 VQA 任務(wù)上的表現(xiàn)接近對(duì)數(shù)線性提升，而 CLIP 在超過(guò) 30 億參數(shù)后性能趨于飽和。

WebSSL 在 OCR 和圖表任務(wù)中表現(xiàn)尤為突出，尤其在數(shù)據(jù)篩選后，僅用 1.3% 的富文本圖像訓(xùn)練即超越 CLIP，在 OCRBench 和 ChartQA 任務(wù)中提升高達(dá) 13.6%。

此外，高分辨率（518px）微調(diào)進(jìn)一步縮小了與 SigLIP 等高分辨率模型的差距，在文檔任務(wù)中表現(xiàn)尤為出色。

WebSSL 模型在無(wú)語(yǔ)言監(jiān)督下仍展現(xiàn)出與預(yù)訓(xùn)練語(yǔ)言模型（如 LLaMA-3）的良好對(duì)齊性，表明大規(guī)模視覺(jué)模型能隱式學(xué)習(xí)與文本語(yǔ)義相關(guān)的特征。

同時(shí)，WebSSL 在傳統(tǒng)基準(zhǔn)測(cè)試（如 ImageNet-1k 分類、ADE20K 分割）上保持強(qiáng)勁表現(xiàn)，部分場(chǎng)景甚至優(yōu)于 MetaCLIP 和 DINOv2。

【來(lái)源： IT之家 】