四個工具幫你輕松將python項目發布到生產環境
構建良好的軟件遵循特定規則并強制執行行業標準，同時需要考慮：依賴關系、代碼質量、工作流程、憑據。但這些如何反映在現實代碼庫中呢？在這篇文章中，我將向您展示我在Python項目中設置的4個工具，以便簡化開發工作流程并強制執行一些優秀實踐。
1. Poetry
當我開始一個新項目時，我通常使用Poetry來管理依賴關系并創建一個全新的虛擬環境。這在不同項目依賴于相同包的不同版本時非常有用。
Poetry是一個很好的工具，因為它在解析依賴關系方面速度很快。它還通過用戶友好的CLI易于使用，并有助于快速打包和分發您的代碼。
以下是如何使用Poetry啟動新項目的方法：
poetry init
一旦你按下yes，就會創建一個pyproject.toml文件，用于包含項目的 metadata。這個文件可以提交到Git，并與您的同事共享，以重現相同的環境。項目設置完成后，您可以使用add命令添加依賴項。示例：
poetry add pandas
您還可以分組依賴項。例如，您可以將black和isort添加為開發依賴項到dev組。示例：
poetry add black --group dev
如果再次查看pyproject.toml文件，我們將注意到依賴項的兩個單獨部分：
為什么這有用呢？
分組使您能夠輕松管理不同環境的依賴關系。例如，如果您有開發和測試依賴項，您可能希望在生產設置中安裝項目庫時忽略它們。這是如何做到的：
poetry install --without dev,test依賴項安裝在哪里？
Poetry為每個項目創建一個虛擬環境。它位于隱藏的.venv文件夾中。您可以使用poetry shell命令激活它，并訪問其特定的二進制文件（python、pip、black等）。更多功能可以查看官方文檔以了解更多信息。
2. Pre-commit hooks
如果您是Python開發人員，您可能經常會遇到這樣的情況：您的團隊成員具有不同的編碼風格，這使得代碼庫不一致。結果，這導致錯誤，降低了生產力，并使協作困難。pre-commit hooks就可以解決這個問題，它在每次提交之前自動運行的腳本，用于檢查您的代碼是否存在錯誤。
在我的項目中，我通常會在我的預提交配置中添加這些腳本：
- black — 用于格式化代碼
- pydoctyle — 確保代碼文檔符合Google的標準
- pycln — 用于刪除未使用的導入
- trailing-whitespace — 用于刪除額外的空格
- unitest — 用于運行單元測試和檢測破壞性更改
要配置這些首先需要安裝pre-commit包：
pip install pre-commit
或者
poetry add pre-commit然后，您需要在名為.pre-commit-configuration.yaml的YAML文件中進行定義。以下是我通常使用的一個：
repos:
- repo: https://github.com/psf/black
rev: '23.1.0'
hooks:
- id: black
args: [--config=pyproject.toml]
- repo: https://github.com/pycqa/pydocstyle
rev: '6.3.0'
hooks:
- id: pydocstyle
args: ['.']
- repo: https://github.com/hadialqattan/pycln
rev: 'v2.1.5'
hooks:
- id: pycln
args: ['.']
- repo: https://github.com/pre-commit/pre-commit-hooks
rev: 'v4.4.0'
hooks:
- id: trailing-whitespace
- repo: local
hooks:
- id: unittest
name: run unit tests
language: system
pass_filenames: false
entry: poetry run coverage run -m pytest現在你可以使用 install 命令進行安裝：
pre-commit install另外，如果您嘗試提交沒有文檔的代碼，您將收到此錯誤，不會提交任何內容到git。
這將迫使您修復代碼，然后再次提交。
3. Makefiles
Makefile將一系列shell命令分組在一個快捷方式（也稱為目標）下。想象一下，每次更新代碼時都必須運行以下單元測試命令：
poetry run coverage run -m pytest
poetry run coverage report
poetry run coverage html那不是很繁瑣嗎？使用Makefile，您可以將這三個命令分組在一個 test 目標下。現在，您只需運行make test，而不是輸入這三行，這避免了不必要的代碼輸入或記住復雜的指令。
Makefile還有助于簡化其他任務，如：
- 安裝依賴項
- 設置環境變量
- 運行腳本
- 構建和推送Docker鏡像
- 構建文檔
- 為代碼添加樣式
以下是我在我的一個開源項目中使用的Makefile示例：
DOCKER_IMAGE := ahmedbesbes/cowriter
VERSION := $(shell git describe --always --dirty --long)
ifneq (,$(wildcard ./.env))
include .env
export
endif
run-cowriter:
@poetry run python -m src.main
run-cowriter-job:
@poetry run python -m src.job
run-web-agent:
@rm -rf db/ && poetry run python -m src.actions.web_searcher
build-image:
@docker build . -t $(DOCKER_IMAGE):$(VERSION)
push-docker-image-to-artifact-registry:
@gcloud builds submit --tag gcr.io/$(PROJECT_ID)/run_cowriter_job
lint:
@poetry run black .
test:
@poetry run coverage run -m pytest
@poetry run coverage report
@poetry run coverage htmlMakefiles通常易于閱讀和理解，清晰地顯示了項目的不同部分是如何組織的，以及它們如何相互依賴。這對于新團隊成員入職或一段時間后重訪自己的項目尤其有幫助。
4. python-dotenv
作為開發人員，我使用Python構建依賴于憑據和敏感設置的應用程序。以下是這些憑據的一些示例：
- 用于訪問第三方服務的API密鑰
- 密碼和憑據
- 標志
- 域名或URL
?? 這些憑據不應該硬編碼或版本化在您的腳本中。一種安全的良好實踐是將它們加載為環境變量。
import os
api_key = os.environ.get("API_KEY")為了避免每次都使用shell命令導出環境變量，您可以使用Python dotenv包：
- pip install python-dotenv
- 創建一個包含鍵值對憑據的.env文件
- 將.env添加到.gitignore，以防止Git提交它
- 使用python-dotenv模塊將設置加載到您的Python文件中
結論
我希望您發現這些工具有助于更好地構建Python項目的結構，并自動化繁瑣和重復的任務。
