我是程序員，我用這種方式銘記歷史
前言
在目前浮躁的互聯網環境下，做一件好事不難，難的是連續8年做一件有意義的事。
在微博上有這樣一位博主，從2012年7月7日開始，截至到2020年9月2日，@抗戰直播 以圖文形式，記錄了從1937年7月7日至1945年8月15日中華民族全面抗戰的這段歷史。2980 天，從未間斷，平均每天 12 條，累計 35214 篇。
2020年9月18日7時零7分，沉寂了半個月的 @抗戰直播 恢復更新，他們將繼續以圖文的形式記錄1931年9月18日至1937年7月7日這六年的抗戰歷史。
下一個 6 年，他們已經在路上。
歷史是不能被遺忘的。
作為程序員的我，在歷史面前，我能做點什么?
除了敬佩 @抗戰直播 這么多年來的堅持，我更想做一點自己力所能及且有意義的事情。
在得到博主 @抗戰直播 的允許與支持后，于是就有了這個項目的誕生。
War Of Resistance Live
- ├── .github/workflows # 工作流配置文件
- ├── resources # 微博數據
- ├── site # 博客源碼
- └── spider # 微博爬蟲
WarOfResistanceLive 是一個主要由 Python 爬蟲 + Hexo 博客 + Github Actions持續集成服務組成的開源項目，開源在 GitHub 上，并且部署于 Github Pages。目前包含以下功能：
- 每日定時自動同步更新數據
- 查看博主目前所有的微博數據
- 支持RSS訂閱功能
- 基于Github Actions的持續集成服務
- ...
接下來，我將簡單的給大家介紹該項目的一些核心邏輯與實現。
Python 爬蟲
該項目使用的爬蟲是基于 weibo-crawler 項目的簡化及修改實現(僅供研究使用)，感謝作者 dataabc。
實現原理
- 通過訪問手機版的微博繞過其登錄驗證，可查看某個博主的大部分微博數據，如：https://m.weibo.cn/u/2896390104
- 通過開發者工具查看得知，通過 json 接口 https://m.weibo.cn/api/container/getIndex 即可獲取微博數據列表：
- def get_json(self, params):
- """獲取網頁中json數據"""
- url = 'https://m.weibo.cn/api/container/getIndex?'
- r = requests.get(url,
- params=params,
- headers=self.headers,
- verify=False)
- return r.json()
如何使用
安裝依賴：
- pip3 install -r requirements.txt
使用：
- python weibo.py
注意事項
- 速度過快容易被系統限制：可通過加入隨機等待邏輯，可降低被系統限制的風險;
- 無法獲取全部微博數據：可通過添加 cookie 邏輯獲取全部數據;
更多內容可查看 weibo-crawler。
Hexo
經過了一番的抉擇，最終選擇 Hexo + Next 主題作為本項目的博客框架。
Hexo 是一款基于 Node.js 的靜態博客框架，依賴少易于安裝使用，可以方便的生成靜態網頁托管在 GitHub Pages 上，還有豐富的主題可供挑選。關于如何安裝使用 Hexo 可詳細查看官方文檔：https://hexo.io/zh-cn/docs/。
那么，如何實現 RSS 訂閱功能呢?
得益于 Hexo 豐富的插件功能，hexo-generator-feed 可以很方便的幫我們實現。
首先，在博客根目錄下安裝該插件：
- $ npm install hexo-generator-feed --save
接著，在博客根目錄下的 _config.yml 文件中添加相關配置:
- feed:
- enable: true # 是否啟用插件
- type: atom # Feed的類型，支持 atom 和 rss2，默認 atom
- path: atom.xml # 生成文件的路徑
- limit: 30 # 生成最大文章數，如果為 0 或 false 則生成所有的文章
- content: true # 如果為 true 則展示文章所有內容
- content_limit: # 文章展示的內容長度，僅當 content 為 false 有效
- order_by: -date # 按照日期排序
- template: # 自定義模板路徑
最后，在主題根目錄下的 _config.yml 文件中添加 RSS 訂閱入口：
- menu:
- RSS: /atom.xml || fa fa-rss # atom.xml文件路徑地址和圖標設置
這樣，我們就可以為自己的博客添加 RSS 訂閱功能。
Github Actions 持續集成
Github Actions 是由 Github 于 2018年10月 推出的持續集成服務，在此之前，我們可能更多的使用 Travis CI 來實現持續集成服務。以我個人的感覺來看，Github Actions 功能非常強大，比 Travis CI 的可玩性更高，Github Actions 擁有豐富的 action 市場，將這些 action 組合起來，我們就可以很簡單的完成很多很有趣的事情。
我們先來看看Github Actions 的一些基本概念：
- workflow：工作流程。即持續集成一次運行的過程。該文件存放于倉庫的 .github/workflows 目錄中，可包含多個;
- job：任務。一個 workflow 可包含一個或多個 jobs，即代表一次集成的運行，可完成一個或多個任務;
- step：步驟。一個 job 由多個 step 組成，即代表完成一個任務需要哪些步驟;
- action：動作。每個 step 里面可包含一個或多個 action，即代表一個步驟內，可執行多個 action 動作。
了解了 Github Actions 的這些基本概念后，我們來看看 WarOfResistanceLive 的持續集成服務是怎樣實現的，以下是本項目使用的 workflow 完整實現：
- # workflow 的名稱
- name: Spider Bot
- # 設置時區
- env:
- TZ: Asia/Shanghai
- # 設置工作流觸發方式.
- on:
- # 定時觸發，在 8:00-24:00 間每隔 2 小時更新一次(https://crontab.guru)
- # 由于 cron 設定的時間為 UTC 時間，所以 +8 即為北京時間
- schedule:
- - cron: "0 0-16/2 * * *"
- # 允許手動觸發 Actions
- workflow_dispatch:
- jobs:
- build:
- # 使用 ubuntu-latest 作為運行環境
- runs-on: ubuntu-latest
- # 將要執行的任務序列
- steps:
- # 檢出倉庫
- - name: Checkout Repository
- uses: actions/checkout@v2
workflow 文件的配置字段非常多，配置文件中也給出了詳細的注釋。接下來，我們主要看下以下幾個比較重要的配置：
工作流的觸發方式
- # 設置工作流觸發方式.
- on:
- # 定時觸發，在 8:00-24:00 間每隔 2 小時更新一次(https://crontab.guru)
- # 由于 cron 設定的時間為 UTC 時間，所以 +8 即為北京時間
- schedule:
- - cron: "0 0-16/2 * * *"
- # 允許手動觸發工作流程
- workflow_dispatch:
我們可以使用 on 工作流程語法配置工作流程為一個或多個事件運行。支持自動與手動兩種方式觸發。schedule 事件允許我們在計劃的時間觸發工作流程，我們可以使用 POSIX cron 語法 來安排工作流程在特定的時間運行。
計劃任務語法有五個字段，中間用空格分隔，每個字段代表一個時間單位：
- ┌───────────── minute (0 - 59)
- │ ┌───────────── hour (0 - 23)
- │ │ ┌───────────── day of the month (1 - 31)
- │ │ │ ┌───────────── month (1 - 12 or JAN-DEC)
- │ │ │ │ ┌───────────── day of the week (0 - 6 or SUN-SAT)
- │ │ │ │ │
- │ │ │ │ │
- │ │ │ │ │
- * * * * *
我們可以使用 https://crontab.guru 來生成計劃任務語法，你也可以查看更多的 crontab guru 示例。
另外，我們還可以通過配置 workflow_dispatch 和 repository_dispatch字段來實現手動觸發工作流程。
on 字段也可以配置為 push，即倉庫有 push 操作時則觸發工作流的執行，詳細的觸發工作流配置可以查看 配置工作流程事件。
步驟序列
從配置文件中我們可以看到，該項目的一次持續集成的運行包含了以下步驟：
檢出倉庫 --> 設置 Python 環境 --> 緩存 pip 依賴 --> 安裝 pip 依賴 --> 運行爬蟲腳本 --> 獲取當前時間 --> 提交修改 --> 推送遠端 --> 設置 Node.js 環境 --> 緩存 NPM 依賴 --> 安裝 NPM 依賴 --> 構建 Hexo --> 發布 Github Pages
本項目的 workflow 主要有以下幾個要點：
- 運行環境：整個工作流運行在虛擬環境 ubuntu-latest。還可以指定其他虛擬環境，如 Windows Server、macOS 等;
- 緩存依賴：通過對依賴的緩存，可提升安裝相關依賴的速度。具體使用可查看：緩存依賴項以加快工作流程;
- 獲取當前時間：后續提交修改步驟中的 commit message 中使用到了該步驟中獲取到當前時間，這里就使用到了 step 上下文 的相關概念，我們可以為 step 指定一個 id，后續 step 中我們就可以通過 steps..outputs 來獲取已經運行的步驟相關信息;
- 構建 Hexo：即執行 hexo generate 命令生成靜態網頁;
- 工作流程中的身份驗證：提交推送及發布步驟需要進行身份驗證。GitHub 提供一個令牌，可用于代表 GitHub Actions 進行身份驗證。我們所需要做的就是創建一個命名為 GITHUB_TOKEN 的令牌。具體步驟如下：Settings --> Developer settings --> Personal access tokens --> Generate new token，命名為 GITHUB_TOKEN ，并勾選中你所需要的的權限，然后就可以在 step 中通過使用 ${{ secrets.GITHUB_TOKEN }} 進行身份驗證。
更多 Action 可在 Github 官方市場 查看。
結語
最后，引用博主 @抗戰直播 的一段話：
“我們直播抗戰，并非為了鼓動仇恨等負面的情緒，而是想適度喚起遺忘，當我們時刻牢記祖輩們蒙受的苦難、恐懼和屈辱時;當我們體味祖輩們是如何在國家民族危亡之際拋棄前嫌，實現民族和解時，當我們目睹著祖輩們是如何從容慷慨的走向死亡，以身體為這個國家獻祭之時，相信我們對于現實將有更加成熟和理性的思考。”
銘記歷史，砥礪奮進。
勿忘國恥，吾輩自強。
