字節(jié)整活！1.58比特FLUX：手機也能流暢運行的頂尖AI畫圖神器來了
自字節(jié)跳動和POSTECH的研究團隊發(fā)布了一項名為“1.58-bit FLUX”的突破性研究成果，該成果成功將最先進的文本到圖像（T2I）生成模型FLUX.1-dev的權(quán)重參數(shù)量化至1.58比特，同時保持了生成1024x1024圖像的質(zhì)量，為在資源受限的移動設(shè)備上部署大型T2I模型開辟了新的道路，這項研究成果已發(fā)布在arXiv上，并配有開源代碼庫（代碼目前還沒有上傳）
AI畫圖模型也能“減肥”？
簡單來說，就是把 FLUX(由Stable Diffusion作者團隊成立的黑森林實驗室Black Forest Lab推出) 的超強AI畫圖模型進行了“壓縮”。大家都知道，現(xiàn)在的AI畫圖模型，像DALLE 3、Stable Diffusion 3、Midjourney等，展現(xiàn)出強大的圖像生成能力，在現(xiàn)實應(yīng)用中潛力巨大。然而，這些模型動輒數(shù)十億的參數(shù)量和高昂的推理內(nèi)存需求，使其難以在手機等移動端設(shè)備上部署
這就好比，你想用手機拍個8K超清電影，結(jié)果手機內(nèi)存直接爆了，這不就尷尬了？
而 FLUX 這個模型，本來就已經(jīng)很厲害了，現(xiàn)在又被“壓縮”成了 1.58-bit FLUX，體積直接縮小了 7.7倍！這意味著，以后在手機上跑這些超強AI畫圖模型，不再是夢！
1.58-bit是啥？聽起來很高端的樣子
研究團隊選擇了開源且性能優(yōu)異的FLUX.1-dev模型作為量化目標，探索了極低比特量化方案。通過將模型中99.5%的視覺Transformer參數(shù)量化至1.58比特，即限制參數(shù)值為{-1, 0, +1}，并開發(fā)了專門針對1.58比特運算的定制化內(nèi)核，1.58-bit FLUX在模型大小、推理內(nèi)存和推理速度上都取得了顯著的提升
其實，“1.58-bit”可以理解為一種超級高效的“打包”方式。你可以把AI模型的參數(shù)想象成一個個小積木，原本這些積木可能有很多種顏色、很多種形狀。而“1.58-bit”就像是一個神奇的收納盒，它把這些積木簡化成了只有三種：“-1”、“0”和“+1”。
這樣一來，原本需要很大空間才能存放的積木，現(xiàn)在用一個小小的盒子就能裝下，而且這些積木還能拼出和原來幾乎一樣的圖案！這波操作，是不是很像你平時用的壓縮軟件？只不過，這是針對AI模型做的超級壓縮！
核心技術(shù)及創(chuàng)新
1. 數(shù)據(jù)無關(guān)的1.58比特量化: 與以往需要圖像數(shù)據(jù)或混合精度方案的量化方法不同，1.58-bit FLUX的量化過程完全不依賴圖像數(shù)據(jù)，僅通過對FLUX.1-dev模型進行自監(jiān)督即可完成。這大大簡化了量化流程，使其更具普適性
2. 定制化1.58比特運算內(nèi)核: 為了進一步提升推理效率，研究團隊開發(fā)了針對1.58比特運算優(yōu)化的內(nèi)核。該內(nèi)核顯著降低了推理時的內(nèi)存占用，并提升了推理速度
實驗結(jié)果及分析
實驗結(jié)果表明，1.58-bit FLUX實現(xiàn)了以下顯著提升：
? 模型存儲減少7.7倍: 由于權(quán)重被量化為2比特有符號整數(shù)，模型存儲空間大幅下降
? 推理內(nèi)存減少5.1倍: 在各種GPU類型上，推理內(nèi)存使用量均有顯著降低，在A10-24G等資源受限的設(shè)備上尤為明顯
? 推理速度提升: 特別是在L20和A10等性能較低的GPU上，推理速度提升高達13.2%
“壓縮”過的模型，畫質(zhì)會打折嗎？
這可能是大家最關(guān)心的問題了。畢竟，如果畫質(zhì)變差了，那“瘦身”還有啥意義呢？
放心，研究團隊早就想到了這一點！他們在 GenEval 和 T2I Compbench 這兩個超權(quán)威的測試平臺上，對“壓縮”前后的模型進行了嚴格的對比測試。結(jié)果表明，1.58-bit FLUX 的畫質(zhì)，和原來幾乎一模一樣！
論文里還放出了大量的對比圖，比如“一只在圖書館里行走的海水貓”、“一條在城市上空盤旋的火龍”等等，這些天馬行空的畫面，1.58-bit FLUX 都能輕松駕馭，細節(jié)滿滿，效果驚艷！
這黑科技，到底有什么用？
這項技術(shù)，最大的意義在于，它讓我們看到了 在手機上運行大型AI畫圖模型的可能性！ 以前，我們只能在電腦上，甚至是用專業(yè)的服務(wù)器才能體驗到AI畫圖的樂趣。現(xiàn)在，隨著 1.58-bit FLUX 的出現(xiàn)，未來我們也許只需要一部手機，就能隨時隨地進行AI創(chuàng)作！
