筆跡模仿 AI 的研究背景

俗話說，見字如面，字如其人。相比呆板的打印字體，手寫體更能體現書寫者的個人特點。相信很多人都曾設想過，擁有一套屬于自己的手寫字體，用在社交軟件中，更好的展示自己的個人風格。

然而，不同于英文字母，漢字數量是極其龐大的，想要創造一套自己的專屬字體代價十分高昂。例如，最新發布的國標GB18030-2022中文字符集包含8萬多個漢字。有報道稱，某視頻網站博主花了18個小時寫完了7000多個漢字，中間耗費了足足13支筆，手都寫麻了！

上述問題引發了論文作者的思考，能否設計一個文字自動生成模型，幫助解決專屬字體創造代價高的問題呢？為了解決這一問題，研究者設想提出一個會筆跡模仿的 AI，僅需用戶提供少量的手寫樣本（大約 10 幾張），就能提取筆跡中蘊含的書寫風格（例如字符的大小、傾斜程度、橫寬比、筆畫的長短和曲率等），并且臨摹該風格去合成更多的文字，從而為用戶高效合成一套完整的手寫字體。

進一步地，論文作者從應用價值和用戶體驗兩個角度出發，對該模型的輸入和輸出模態做了如下思考：1. 考慮到序列模態的在線字體 (online handwritings) 比圖像模態的離線文字 (offline handwritings) 包含更豐富的信息（軌跡點的詳細位置和書寫順序，如下圖所示），將模型的輸出模態設置為在線文字會有更廣泛的應用前景，例如可以應用到機器人寫字和書法教育上。2. 在日常生活中，相比通過平板和觸摸筆等采集設備獲取在線文字，人們利用手機拍照獲取離線文字更加方便。因此，將生成模型的輸入模態設為離線文字，用戶使用起來會更加方便！

總結起來，本文的研究目標是提出一個風格化的在線手寫文字生成模型 (stylized online handwriting generation method)。該模型既能臨摹用戶提供的離線文字中所蘊含的書寫風格，又能根據用戶需要在線生成內容可控的手寫筆跡。

• 論文地址：https://arxiv.org/abs/2303.14736
• 代碼開源：https://github.com/dailenson/SDT

主要挑戰

為了實現上述目標，研究者們分析了兩個關鍵問題：1. 由于用戶只能提供少量的字符樣本，能否僅從這些少量的參考樣本中學習用戶獨特的書寫風格呢？換句話說，根據少量的參考樣本臨摹用戶的書寫風格是否可行？2. 本文的研究目標不僅需要滿足生成的文字風格可控，還需要內容也可控。因此，在學習到用戶的書寫風格后，如何將該風格與文字內容高效的結合，從而生成滿足用戶期望的手寫筆跡？接下來讓我們看看這篇 CVPR 2023 提出的 SDT（style disentangled Transformer）方法是怎樣解決這兩個問題的吧。

解決方案

研究動機 研究者發現，個人筆跡中通常存在兩種書寫風格：1. 相同書寫者的筆跡存在著一種整體上的風格共性，各個字符呈現出相似的傾斜程度和寬高比，且不同書寫者的風格共性各不相同。由于這種特性可以用于區分出不同的書寫者，研究者們稱其為書寫者風格。2. 除了整體上的風格共性，來自同一書寫者的不同字符間存在著細節上的風格不一致。例如，對于 “黑” 和 “杰” 兩個字符，二者在字符結構上具有相同的四點水部首，但該部首在不同的字符中存在微弱的書寫差異，體現在筆畫書寫的長短、位置和曲率上。研究者們將這種字形上的細微的風格模式稱為字形風格。受啟發于上述觀察，SDT 旨在從個人筆跡中解耦出書寫者和字形風格，期望提升對用戶筆跡的風格模仿能力。

在學習到風格信息后，不同于以往的手寫文字生成方法簡單的將風格和內容特征進行簡單的拼接，SDT 將內容特征作為查詢向量，自適應的捕獲風格信息，從而實現風格和內容的高效融合，生成符合用戶預期的手寫筆跡。

方法框架 SDT 的整體框架如下圖所示，包含雙分支風格編碼器、內容編碼器和 transformer 解碼器三部分。首先，本文提出兩個互補的對比學習目標來引導風格編碼器的書寫者分支和字形分支分別學習對應的風格提取。然后，SDT 利用 transformer 的注意力機制 (multi-head attention) 對風格特征和內容編碼器提取到的內容特征進行動態融合，漸進式的合成在線手寫文字。

(a) 書寫者風格對比學習 SDT 提出面向書寫者風格提取的有監督對比學習目標（WriterNCE），將屬于相同書寫者的字符樣本聚集在一起，推遠屬于不同書寫者的手寫樣本，顯示地引導書寫者分支關注個人筆跡中的風格共性。

(b) 字形風格對比學習 為了學習更加細節的字形風格，SDT 提出無監督的對比學習目標 (GlyphNCE)，用于最大化相同字符不同視角間的互信息，鼓勵字形分支專注學習字符中的細節模式。具體如下圖所示，首先對同一張手寫字符做兩次獨立的采樣，獲取一對含有筆畫細節信息的正樣本

和

，然后從其他字符中采樣得到負樣本

。每次采樣時，隨機選擇少量樣本塊作為包含原始樣本細節的新視角。樣本塊的采樣服從均勻分布，避免字符的某些區域被過度采樣。為了更好的引導字形分支，采樣過程直接作用于字形分支輸出的特征序列上。

(c) 風格和內容信息的融合策略 獲取了兩種風格特征后，如何將其與內容編碼器學習到的內容編碼進行高效融合呢？為了解決這一問題，在任意的解碼時刻 t，SDT 將內容特征視作初始點，然后結合 q 和 t 時刻之前輸出的軌跡點

形成新的內容上下文

。接著，內容上下文被視為 query 向量，風格信息作為 key & value 向量。在交叉注意力機制的融合下，內容上下文與兩種風格信息依次完成動態聚合。

實驗

定量評價 SDT 在中文、日文、印度文和英文數據集上都取得了最優異的性能，尤其是在風格分數指標上，相比之前的 SOTA 方法，SDT 取得了較大突破。

定性評價 在中文生成方面，相比以前的方法，SDT 生成的手寫字符既能避免字符的崩壞又能很好的臨摹用戶的書寫風格。得益于字形風格學習，SDT 在字符的筆畫細節生成方面也能做的很好。

在其他語言上 SDT 也表現良好。尤其在印度文生成方面，現有主流方法很容易生成崩潰的字符，而我們的 SDT 依舊能夠維持字符內容的正確性。

不同模塊對算法性能的影響 如下表所示，本文提出的各個模塊具有協同作用，有效提升了對用戶筆跡的臨摹性能。具體來說，書寫者風格的加入提升了 SDT 對字符整體風格的模仿，例如字符的傾斜程度和長寬比等，而字形風格的加入改善了生成字符的筆畫細節。相比已有方法簡單的融合策略，在各項指標上 SDT 的自適應動態融合策略全面增強了字符的生成性能。

兩種風格的可視化分析 對兩種風格特征進行傅里葉變換得到如下的頻譜圖，從圖中觀察到，書寫者風格包含更多的低頻成分，而字形風格主要關注高頻成分。事實上，低頻成分包含目標的整體輪廓，高頻成分則更加關注物體的細節。這一發現進一步驗證和解釋了解耦書寫風格的有效性。

展望

大家可以通過筆跡 AI 創造自己的專屬字體，在社交平臺上更好的表達自我！