91精品国产自产在线观看永久_香蕉久久一区二区不卡无毒影院_91视频国产精品_日韩成人高清在线_久久久久久久久久久久久女国产乱 _亚洲欧美日韩国产一区二区三区_99久久精品免费看_亚洲影视九九影院在线观看_久久精品国产亚洲_成人a级免费视频

首頁 > 綜合 > 正文

內存直降50%，token需求少56%！用視覺方式處理長文本

2025-11-01 09:32:34來源：新智元  

新智元報道

編輯：LRST


(資料圖)

【新智元導讀】在NeurIPS 2025論文中，來自「南京理工大學、中南大學、南京林業大學」的研究團隊提出了一個極具突破性的框架——VIST（Vision-centric Token Compression in LLM），為大語言模型的長文本高效推理提供了全新的「視覺解決方案」。值得注意的是，這一思路與近期引起廣泛關注的DeepSeek-OCR的核心理念不謀而合。

在處理短文本時，大語言模型（LLM）已經表現出驚人的理解和生成能力。但現實世界中的許多任務——如長文檔理解、復雜問答、檢索增強生成（RAG）等——都需要模型處理成千上萬甚至幾十萬長度的上下文。

與此同時，模型參數規模也從數十億一路飆升至萬億級別。

在「上下文長度激增」與「模型參數量膨脹」的雙重挑戰下，Token壓縮不再是優化項，而是必需品。

若不能有效縮減輸入規模，即便最強大的大語言模型，也難以高效處理我們需要它分析的海量信息。

南京理工大學、中南大學、南京林業大學的研究人員提出VIST（Vision-centric Token Compression in LLM）框架，正是為了解決這一痛點。

論文鏈接：https://arxiv.org/abs/2502.00791

研究團隊早在一年多以前NeurIPS 2024就開始探索——如何讓模型像人類一樣，以視覺的方式更高效地理解長文本。

論文鏈接：https://arxiv.org/pdf/2406.02547

人類閱讀文章時，不會逐字讀完每一個詞。

「的」「了」「和」這些功能性高頻詞，幾乎是被大腦自動略過的。真正讓我們停下來的，是那些承載意義的低頻詞——名詞、動詞、數字等。

VIST 的核心思想，就是讓大模型也具備這種「選擇性閱讀」能力。

它設計了一種模仿人類「快–慢閱讀通路（Slow–Fast Reading Circuit）」的視覺化壓縮機制，讓大模型在理解長文本時，既能快速掃讀，又能深入思考：

快路徑（Fast Path）：將遠處、相對次要的上下文渲染為圖像，由一個凍結的輕量級視覺編碼器快速提取顯著性語義；

慢路徑（Slow Path）：將關鍵的近處文本直接輸入 LLM，用于深層推理與語言生成。

這種「視覺+語言」的雙通道協作，就像人類的眼睛與大腦——一邊掃視全局，一邊聚焦要點，深度思考。

VIST讓模型真正具備了「像人一樣速讀」的能力。

憑借這一設計，在處理相同文本內容時，VIST所需的視覺Token數量僅為傳統文本分詞所需Token數量的56%，內存減少了50%。

用「視覺壓縮」解鎖長文本理解

早期的LLM主要通過tokenizer把文本拆分的離散token輸入給LLM去處理，這種范式帶來了很多好處如高度語義化。

但是已有研究發現，經過大規模圖文配對數據預訓練，CLIP等視覺編碼器能夠自發掌握 OCR 能力，這使它們可以直接理解文本圖像內容，為長文本的視覺化處理提供了強大工具。

VIST則借鑒了人類高效閱讀的技巧，提出了一種全新的快–慢視覺壓縮框架，用視覺方式處理長文本，讓模型既能快速掃讀，又能深度理解。

快路徑（Fast Path）

將次要的長距離上下文渲染成圖像，由輕量級視覺編碼器處理；

通過 Resampler 將視覺特征進一步壓縮為4倍；

壓縮后的視覺特征再通過cross-attention與LLM的主輸入整合。

慢路徑（Slow Path）

對近處或核心文本直接交給LLM處理，進行深度推理和語言生成。

這種「掃視遠處，專注近處」的方式，模擬了人類閱讀的自然策略，讓模型在長文本場景下既高效又精準。

概率感知視覺增強

教模型學會略讀

雖然視覺編碼器（如 CLIP）非常強大，但它們主要在自然圖像上訓練，對于渲染文本的理解能力有限。而且，長文本中往往充斥大量冗余信息，如果不加選擇地處理，浪費算力，還會被干擾得抓不住重點。

為此，VIST引入了一個巧妙的機制——概率感知視覺增強（PVE, Probability-informed Visual Enhancement），教模型「略讀」，抓住關鍵信息，忽略冗余詞。

在訓練中，PVE采用基于頻率的屏蔽策略（Frequency-based Masking Strategy）把高頻但信息量低的詞（如英文中的 「the」、「with」）掩碼而重點保留低頻、高信息量詞如名詞、動詞、數字等核心內容。

這些經過語義優化的文本嵌入（embeddings）有效指導Resampler從文本圖像中提取最重要的語義信息，讓視覺壓縮模塊更高效、更精準。

視覺壓縮的極大潛力

在開放域問答（Open-domainQA）任務以及11 個 In-Context Learning（ICL）基準任務上，VIST 顯著優于基于文本編碼器的壓縮方法 CEPE。

即便在極端條件下——所有篇章僅通過視覺編碼器處理——VIST仍能在開放域問答任務中達到與TinyLlama相當的性能，充分顯示了視覺壓縮在長文本處理中的可靠性。

此外，VIST在處理相同文本內容時，所需視覺 Token 數量比傳統文本 Token 少56%（壓縮比約為2.3，從 1024 個文本Token壓縮到448個視覺 Token），同時顯存使用減少50%，極大提高了計算效率。

讓大模型「用眼睛讀文字」

VIST利用輕量級視覺編碼器，將冗長的上下文信息壓縮處理，為大語言模型提供了一條高效、低成本的新路徑。

更妙的是，視覺編碼器還能充當視覺文本分詞器（Visual Text Tokenization），帶來四大優勢：

1. 簡化分詞流程傳統文本分詞器依賴復雜規則和固定詞表，通常涉及近十步人工預處理（如小寫化、標點符號處理、停用詞過濾等）。

視覺編碼器直接將渲染后的文本視作圖像輸入，無需繁瑣預處理，處理流程更直接高效。

2. 突破詞表瓶頸傳統分詞器在多語言環境下容易受詞表限制影響性能，而視覺編碼器無需詞表，統一處理多種語言文本，大幅降低嵌入矩陣和輸出層的計算與顯存開銷。

3. 對字符級噪聲更魯棒視覺編碼器關注整體視覺模式，而非單個 Token 匹配，因此對拼寫錯誤或低級文本攻擊具備天然抵抗力。

4. 多語言高效性盡管本文主要針對英文，視覺文本分詞器在其他語言中同樣高效：與傳統文本分詞相比，可減少62%的日文Token、78%的韓文Token、27%的中文Token，在處理長文本時優勢尤為顯著。

結語與未來展望

VIST 展示了「視覺 + 語言」協作在大模型長文本理解中的巨大潛力：

  • 它讓大模型能夠「像人一樣讀」，快速掃視冗余信息，同時專注于關鍵內容；

  • 它為多語言、長文本、甚至多模態場景提供了高效處理方案。

未來，視覺驅動的 Token 壓縮可能會成為長上下文 LLM 的標準組件。 隨著模型規模不斷增長，這種「先看再讀」的策略，將幫助大模型在保證理解能力的同時，大幅降低計算成本，為多模態智能理解鋪平道路。

參考資料：

https://arxiv.org/abs/2502.00791

標簽： 視覺 內存 上下文 編碼器 新模型 token

相關閱讀

精彩推薦

相關詞

推薦閱讀

91精品国产自产在线观看永久_香蕉久久一区二区不卡无毒影院_91视频国产精品_日韩成人高清在线_久久久久久久久久久久久女国产乱 _亚洲欧美日韩国产一区二区三区_99久久精品免费看_亚洲影视九九影院在线观看_久久精品国产亚洲_成人a级免费视频
国产无人区一区二区三区| 精品福利av导航| 一本色道久久综合亚洲精品按摩| 欧美色图天堂网| 中文字幕色av一区二区三区| 激情综合色播五月| 久久综合九色综合97婷婷| 国产综合久久久久影院| 国产免费成人在线视频| 成人午夜视频网站| 亚洲一区国产视频| 精品久久久久久亚洲综合网 | 奇米精品一区二区三区在线观看一| 欧美中文字幕一区二区三区 | 国产资源在线一区| 亚洲欧洲精品天堂一级| 欧美日韩高清一区| 精品一区二区三区av| 日本一二三四高清不卡| 色婷婷激情综合| 九九国产精品视频| 亚洲精品免费视频| 久久夜色精品国产噜噜av| 色av综合在线| 成人少妇影院yyyy| 奇米综合一区二区三区精品视频| 久久青草国产手机看片福利盒子| av一本久道久久综合久久鬼色| 亚洲人成网站在线| 精品乱人伦一区二区三区| av一本久道久久综合久久鬼色| 亚洲成人综合视频| 亚洲日韩欧美一区二区在线| 337p粉嫩大胆噜噜噜噜噜91av | 91麻豆蜜桃一区二区三区| 婷婷久久综合九色综合伊人色| 欧美激情一区二区三区蜜桃视频| 日本韩国欧美国产| 国产91精品一区二区麻豆亚洲| 亚洲成av人**亚洲成av**| 中文字幕一区二区在线播放| 精品国产伦理网| 5858s免费视频成人| 日本电影欧美片| www.日韩av| 91首页免费视频| 99久久久久久| 97se亚洲国产综合在线| av一二三不卡影片| eeuss鲁片一区二区三区在线观看| 经典三级在线一区| 国产在线国偷精品产拍免费yy | 亚洲一区二区不卡免费| 日韩一区中文字幕| 亚洲激情在线激情| 午夜精品一区在线观看| 悠悠色在线精品| 亚洲第一在线综合网站| 午夜激情久久久| 久久91精品国产91久久小草| 久久99久久99| 狠狠色丁香久久婷婷综| 国产91精品欧美| 97精品超碰一区二区三区| 91同城在线观看| 在线成人午夜影院| 久久伊人中文字幕| 亚洲激情男女视频| 奇米777欧美一区二区| 美女网站视频久久| 成人黄色在线看| 精品视频一区三区九区| 欧美一区二区福利在线| 久久久久成人黄色影片| 一区二区理论电影在线观看| 日本成人在线电影网| 国产盗摄视频一区二区三区| av亚洲精华国产精华精| 欧美专区在线观看一区| 欧美在线高清视频| 国产婷婷一区二区| 午夜精品123| 99久久免费视频.com| 91精品国产一区二区三区香蕉| 亚洲精品一线二线三线| 亚洲美女视频在线| 国产999精品久久久久久绿帽| 欧美中文字幕一区| 国产精品人妖ts系列视频| 午夜欧美一区二区三区在线播放| 久久国产成人午夜av影院| 色婷婷av久久久久久久| 国产视频一区二区在线观看| 天堂久久一区二区三区| 91在线免费播放| 26uuu亚洲| 麻豆国产精品一区二区三区| 在线中文字幕不卡| 日韩久久一区二区| 成人黄色网址在线观看| 欧美大片国产精品| 日韩激情视频在线观看| 91最新地址在线播放| 2023国产一二三区日本精品2022| 亚洲成人激情自拍| 欧美日韩精品三区| 一区二区三区免费看视频| 波多野结衣一区二区三区 | 日韩亚洲欧美一区二区三区| 亚洲精品久久久蜜桃| 成人丝袜18视频在线观看| 欧美tickling网站挠脚心| 亚洲国产精品一区二区久久 | 欧美性感一区二区三区| 一个色在线综合| 欧美在线视频不卡| 亚洲午夜精品网| 欧美在线综合视频| 三级不卡在线观看| 7777女厕盗摄久久久| 亚洲一区二区五区| 欧美性生活一区| 亚洲精品久久嫩草网站秘色| 精品日韩在线观看| 精品一区二区三区免费播放| 在线观看日韩精品| 亚洲一区在线视频| 在线影院国内精品| 亚洲综合一区二区三区| 欧美精品三级日韩久久| 日韩精品乱码免费| 欧美一区二区日韩一区二区| 日韩精品电影在线| 久久久久久久久久电影| 成人h动漫精品一区二| 亚洲免费三区一区二区| 欧美三级日韩在线| 国产一区二区三区观看| 国产欧美一区二区精品性色 | 日韩欧美国产午夜精品| 国产在线观看一区二区| 久久精品免费在线观看| 日本高清无吗v一区| 日韩和的一区二区| 中文字幕一区在线观看视频| 亚洲人精品一区| 日韩欧美在线123| 日本韩国一区二区三区| 国产精品资源站在线| 亚洲成av人片观看| 日韩理论片网站| 久久精品夜色噜噜亚洲a∨| 欧美日韩一区二区三区四区| 三级欧美韩日大片在线看| 中文字幕精品一区二区三区精品| 在线免费亚洲电影| aaa欧美大片| 国产一区二三区| 亚洲va天堂va国产va久| 国产精品国产三级国产| 久久综合色鬼综合色| 欧美日本在线观看| 欧美网站大全在线观看| 波多野结衣精品在线| 国产精品一区二区在线播放| 日韩和欧美的一区| 日本欧美大码aⅴ在线播放| 久久精品人人做| 26uuu久久综合| 亚洲精品一区二区三区影院| 欧美久久一二区| 欧美一区二区三级| 日韩三级高清在线| 欧美成人性福生活免费看| 欧美精品aⅴ在线视频| 欧美一区在线视频| 91精品国产91久久综合桃花| 91精品国产综合久久久蜜臀图片 | 在线观看国产一区二区| 欧美亚洲自拍偷拍| 制服丝袜日韩国产| xfplay精品久久| 中文字幕 久热精品 视频在线| 国产色婷婷亚洲99精品小说| 国产精品理论片在线观看| 国产精品视频九色porn| 亚洲精品少妇30p| 亚洲精品美腿丝袜| 亚洲成年人网站在线观看| 日韩国产在线观看| 国产一区二区三区电影在线观看 | 欧美日韩一卡二卡| 精品国产免费久久 | 欧美刺激午夜性久久久久久久| 日韩午夜av一区| 综合av第一页| 日本aⅴ精品一区二区三区 | 极品少妇一区二区三区精品视频 | 亚洲国产欧美在线| 风间由美性色一区二区三区|