小滑塊上個斜面，難倒多少高中生？現在，AI讓它動起來了
學習物理，不同的人自然有不同的經歷。一些人覺得物理課簡單直觀，但另一些人卻認為它抽象又反直覺，根本就無法理解。為此，許多教師和教學研究者探索了各種方法（像是課堂演示、動畫演示等），力圖讓物理課變得生動有趣，便于學生理解。
隨著人工智能的發展，我們已經看到各種知識學習新方法層出不窮，比如 AI 口語陪練就已成為一個頗受歡迎的應用?，F在，卡爾加里大學和 Adobe 研究院的一項研究又展示了一個新可能：用 AI 將物理課本上的圖表變成動畫，直接演示物理機制的過程。如此一來，原本抽象的物理課程或許一下就會變得直觀起來！
可以看到，只需在物理圖表上繪畫一個方框標記識別范圍，AI 就能在分析之后將其變成可交互的動圖。單擺、電路、透鏡、斜坡滑行…… 不管是牛頓力學、光學還是基礎電路，這個 AI 統統都能搞定。
該研究發布后收獲贊譽無數，人們都從中看到了提升學生學習效率的潛力，甚至有人表示現在是當學生最好的時代。
當然，也依然有人表示懷疑。畢竟研究是一回事，轉化成實際應用又是另一回事。
不管怎樣，該研究不僅獲得了大多數網友的贊美，也贏得了學術界的認可，其獲得了正在舉行的 ACM 用戶界面軟件和技術研討會（UIST 2024）的最佳論文獎。
下面我們就來看看這個「增強版物理學」是怎么做到的吧。
- 論文標題：Augmented Physics: Creating Interactive and Embedded Physics Simulations from Static Textbook Diagrams
- 論文地址：https://arxiv.org/pdf/2405.18614
從其標題可以看到，該研究可「基于靜態的教科書圖表創建交互式和嵌入式的物理模擬」。為此，他們用到了 Segment-Anything 和多模態 LLM 等先進的計算機視覺技術。
據介紹，該系統支持多種類型的模型，包括牛頓運動、光學、電路、循環動畫。只需簡單地勾畫，用戶就可以選取圖表中的特定的對象進行分割，然后操作這些分割出來的對象，并調整參數值與這些模擬結果進行動態交互。此外，還可以通過一個基于網頁的界面將這些交互式視覺輸出無縫地疊加到教材 PDF 上，讓學生無需搜索外部材料或從頭開始創建模擬，即可學習、實驗和使用教材。
該團隊也指出，基于靜態文檔創建交互式解釋內容的想法并不新鮮，但這項研究有三大貢獻：
- 提出了一種全新的圖像到模擬工作流程。之前的 Charagraph 和 Augmented Math 等研究關注的是文本到文本或文本到圖表的工作流程，但它們不足以滿足物理圖表和模擬的需求，這需要更關注圖像的方法。
- 為增強物理模擬工具的設計空間做出了貢獻。為了設計這個系統，該團隊執行了一個形成性啟發（formative elicitation）研究。他們詢問了 7 位物理課講師，了解了他們增強物理教材的方式?；谶@些結果，他們找到了四大關鍵的增強策略：增強實驗、動畫圖表、雙向綁定、參數可視化。
- 他們執行了三項評估，貢獻了一份技術評估、一份初步可用性研究（N=12）和對物理講師的專家采訪（N=12）。
形成性研究
在設計系統之前，該團隊在七位物理學講師的幫助下進行了形成性研究。其目標是了解他們當前的物理教學方法，以確定當前教育實踐中的差距和需求，以及通過設計啟發來收集他們對潛在增強策略的見解，以便從教學角度指導這種工具的設計。
方法
該團隊從當地大學社區招募了具備扎實物理教育背景的學生，其中包括 1 名本科生、5 名碩士生和 1 名博士生。這些參與者平均擁有 1.7 年作為助教或講師的教學經驗。
研究團隊首先和參與者討論了當前物理教學中對新型教學工具的需求，隨后鼓勵參與者提出新工具設計方案。他們以一本大一物理教科書 ——《Physics for Scientists and Engineers: A Strategic Approach, 3rd Edition》為例，要求參與者從教師的視角出發，思考如何將書中的靜態概念圖表轉化為更具互動性和教學效果的增強形式。
目前物理教學實踐的挑戰
經過討論，該團隊認為目前的物理教學存在以下挑戰：
- 靜態的圖表只能展示某一時刻的狀態，但物理中有很多概念是會隨時間變化的，靜態圖表無法展示這些動態的物理過程。
- 視頻可以展示物理現象隨時間的變化，但是僅看視頻，學生無法親自進行實驗操作，比如調整實驗參數，觀察不同條件下的結果。
- 學生可以通過計算機上的模擬工具來探索物理現象，但是這些工具沒有配備教學相關的指導。
- 在物理教學中，有時會引入視頻等額外的資料來輔助教學，但這將分散學生的注意力，影響學習效果。
啟發得到的增強策略
在系統開發過程中，該團隊收集了參與者關于各種主題的設計建議，包括運動學、光學、電磁學、牛頓引力、聲學和熱力學。根據反饋，他們確定了四種主要的增強技術類別。
增強實驗：讓用戶可以直接操作教材圖表，讓他們可以改變物體的位置或電路元件的數值等，然后觀察其實時的變化情況。
動畫圖表：將靜態圖像變成循環動圖，展示隨時間的變化情況。
雙向綁定：將文本與圖像連接起來，讓它們變得可以操作。
參數可視化：在模擬圖表中按需生成不同參數的可視化結果。
Augmented Physics 的設計框架
如何根據靜態圖表創建互動式的動畫呢？Augmented Physics 是這么用的。
創建工作流
在 Augmented Physics 創建一個工作流程的步驟如下：
1. 導入教科書頁面
Augmented Physics 支持計算機端和移動端，你可以通過手機拍照上傳，也可以直接導入 PDF。
2. 選擇模擬類型
Augmented Physics 可以讓涉及運動、光學和電路的相關圖像動起來。不屬于這些分類的圖像，「動畫」功能也能讓它動起來。
3. 提取并分割圖像
用戶可以在特定區域用方框和點把要動起來的區域畫出來。
4. 定義分割后的圖像
分割完成后，需要標明分割出來的物體在整個系統中的角色，比如下面的這張透鏡成像圖，就標記了焦點 F、透鏡、和投影對象。
對于電路圖，Augmented Physics 可以通過圖像識別，自動識別電阻器和電池等元素。
5. 生成并運行模擬。圖像分割完成并分配角色之后，系統會將分割得到的圖像轉換成適合物理模擬的多邊形，進而生成模擬。如圖 7 中斜坡滑行的示例。
6. 通過參數操作與模擬實現交互。用戶可以靈活地調整模擬中的參數，例如動態對象的質量、靜態對象的摩擦力和彈簧力常數。系統還可以識別文本或圖像中的參數值，使用戶能夠操作頁面上的數值。例如，在電路模擬中，用戶可以修改電阻和電池的值，以動態改變模擬結果。此外，該系統還能自動將文本中的數值鏈接到模擬中對象的特定屬性，并且用戶可以編輯這些屬性。
支持的增強功能
該系統支持以下功能：
增強實驗：如下圖所示，用戶在選取電路圖后，該系統會生成一個覆蓋其上的模擬，用戶可以通過調整數值來與之交互。
動畫圖表：比如對于光的折射圖，用戶可以選擇一條光路，觀察光的路徑。
雙向綁定：下圖展示了一個運動學圖表的雙向綁定示例。用戶選擇綁定一個數值，然后通過拖動可以調整這個值，然后系統會基于新的值運行模擬。
參數可視化：圖中展示了單擺的參數可視化。用戶選擇單擺和可用參數后，該系統可以可視化其隨時間的變化情況。
實現
該系統主要包含兩個組件：使用 Python 的后端計算機視覺管道模塊和使用 React.js 開發的前端 Web 界面。
其中，計算機視覺模塊集成了廣泛使用的圖像分割模型 Segment-Anything，以及通過 OpenCV 定制開發的線和輪廓檢測算法。
前端和后端之間的通信通過 Firebase 實時數據庫實現，并允許根據提供的輸入坐標處理圖像。得到的結果（包括提取的圖像、線條或點）隨后通過 Firebase 傳回。此外，該系統還會計算提取的圖像的邊界框和 X 和 Y 坐標，并將這些數據傳輸到前端。
對于文本識別和數值提取，他們使用了谷歌的 Cloud Vision API。然后，將頁面文本和提取的對象數據以 JSON 格式發送到 LLM（GPT-4），該 LLM 的作用是推薦模擬類型并根據文本自動設置模擬參數。
在原型設計和技術評估中，前端是 2022 版 14 英寸的 MacBook Air 上運行的 Chrome 瀏覽器，后端是 Google Colab（CPU：Intel Xeon 4 核，GPU：Nvidia T4，RAM：50GB）。
技術評估
表 1 總結了技術評估結果。模擬不同元素的成功率如下：運動學為 64%、光學為 44%、電路為 40%（經過微小編輯后可提升至 62%）、動畫為 66%。
具體細節請參閱原論文。
用戶研究
初步用戶研究
在初步研究中，該團隊評估了系統可用性得分 (SUS)、總體參與度和系統的有用性。新設計的系統獲得了 92.73 的總體 SUS 得分，標準差（SD）為 9.84。
參與者最喜歡功能的是參數可視化（平均值 (M)=6.8，SD=0.4）和雙向綁定（M=6.7/7，SD=0.67），其次是增強實驗（M=6.0/7，SD=1.78）和動畫圖表（M=6.2，SD=1.07）（圖 13）。
總體而言，參與者認為所有功能都很有用。
專家意見
該團隊也詢問了專家的看法。他們普遍表示，該系統可以幫助他們為學生創建個性化的模擬。他們也給出了自己的反饋，總結如下：
- 補充在線資源，而不是替代；
- 擴大實驗展示的范圍；
- 通過獨立的自主導式探索讓學生參與進來；
- 通過觀察促使學生提問；
- 需要在課堂演示之前驗證模擬結果；
- 教師強調獨立思考，而不是拿到題還沒思考就立馬使用該系統。
真心希望該系統能早點投入實際應用！
