五種被低估的非常規統計檢驗方法：數學原理剖析與多領域應用價值研究
作者：Thomas Konstantinovs
本文將詳細介紹五種具有重要應用價值的統計檢驗方法，并探討它們在免疫學（TCR/BCR庫分析）、金融數據分析和運動科學等領域的具體應用。
在當前的數據分析實踐中，研究人員往往過度依賴t檢驗和方差分析（ANOVA）等傳統統計方法。但是還存在多種具有重要應用價值但未受到足夠重視的統計檢驗方法，這些方法在處理復雜的實際數據時具有獨特優勢。本文將詳細介紹五種具有重要應用價值的統計檢驗方法，并探討它們在免疫學（TCR/BCR庫分析）、金融數據分析和運動科學等領域的具體應用。
1、Mann-Kendall趨勢檢驗
Mann-Kendall檢驗是一種非參數檢驗方法，用于檢測時間序列中是否存在單調上升或下降趨勢。與傳統線性回歸相比，該方法的優勢在于不要求數據滿足線性關系假設或服從正態分布。
應用價值：
- 金融領域：用于檢測股票價格的潛在趨勢變化，特別適用于非線性市場環境。
- 免疫學研究：監測TCR/BCR克隆群體隨時間的動態變化趨勢。
為了展示Mann-Kendall檢驗的應用效果，我們構建了兩組對照數據：
- 具有上升趨勢的時間序列：數據呈現明確的時間依賴性增長特征。
- 無趨勢隨機序列：數據表現為圍繞均值的隨機波動（白噪聲過程）。
以下代碼實現了這兩種情況的數據生成和分析過程：
import pymannkendall as mk
np.random.seed(43)
# 1. 生成具有上升趨勢的時間序列
time_trend = np.arange(1, 31)
values_trend = 0.5 * time_trend + np.random.normal(0, 2, size=len(time_trend))
# 2. 生成無趨勢隨機序列
time_no_trend = np.arange(1, 31)
values_no_trend = np.random.normal(0, 2, size=len(time_no_trend))
# 執行Mann-Kendall趨勢檢驗
trend_result = mk.original_test(values_trend)
no_trend_result = mk.original_test(values_no_trend)
fig, axes = plt.subplots(1, 2, figsize=(20, 10))
plt.grid(lw=2, ls=':')
axes[0].plot(time_trend, values_trend, marker='o', linestyle='-', color='blue')
axes[0].set_title("Data with Upward Trend")
axes[0].set_xlabel("Time")
axes[0].set_ylabel("Value")
textstr_trend = '\n'.join((
f"Trend: {trend_result.trend}",
f"P-value: {trend_result.p:.5f}",
f"Tau (Kendall's): {trend_result.Tau:.4f}"
))
props = dict(boxstyle='round', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr_trend, transform=axes[0].transAxes, fontsize=14,
verticalalignment='top', bbox=props)
axes[1].plot(time_no_trend, values_no_trend, marker='o', linestyle='-', color='red')
axes[1].set_title("Data with No Trend")
axes[1].set_xlabel("Time")
axes[1].set_ylabel("Value")
axes[1].grid(lw=2, ls=':')
axes[0].grid(lw=2, ls=':')
textstr_no_trend = '\n'.join((
f"Trend: {no_trend_result.trend}",
f"P-value: {no_trend_result.p:.5f}",
f"Tau (Kendall's): {no_trend_result.Tau:.4f}"
))
axes[1].text(0.05, 0.95, textstr_no_trend, transform=axes[1].transAxes, fontsize=14,
verticalalignment='top', bbox=props)
plt.tight_layout()
plt.grid(lw=2, ls=':')
plt.show()
實驗結果分析：
上升趨勢序列：檢驗結果顯示"increasing"（上升趨勢），且p值較低，具有統計顯著性。
無趨勢序列：檢驗結果顯示"no trend"（無趨勢），p值較高，未能拒絕無趨勢的原假設。
2、Mood中位數檢驗
Mood中位數檢驗是一種穩健的非參數統計方法，用于檢驗多個獨立樣本是否來自具有相同中位數的總體。該方法在處理偏態分布數據時具有特殊優勢，尤其適用于研究重點關注中位數而非均值的場景。
方法應用領域：
- 免疫學研究：用于比較不同患者群體間的TCR多樣性指標中位數（如比較不同免疫庫間的K1000指數）。
- 金融數據分析：評估不同金融資產的日收益率中位數差異。
- 運動科學研究：分析不同訓練方案下運動表現指標的中位數差異。
實證研究設計
為驗證Mood中位數檢驗的效能，我們設計了兩組對照實驗：
中位數顯著差異組：構造具有明顯中位數差異的兩個樣本組。
中位數相近組：構造具有相似中位數的兩個樣本組。
實驗代碼實現如下：
import numpy as np
from scipy.stats import median_test
import matplotlib.pyplot as plt
np.random.seed(2024)
# 構造具有顯著差異的樣本組
group_A_diff = np.random.exponential(scale=1.0, size=50)
group_B_diff = np.random.exponential(scale=2.0, size=50)
# 構造中位數相近的樣本組
group_A_sim = np.random.exponential(scale=1.0, size=50)
group_B_sim = np.random.exponential(scale=1.1, size=50)
# 應用Mood中位數檢驗
stat_diff, p_value_diff, median_diff, table_diff = median_test(group_A_diff, group_B_diff)
stat_sim, p_value_sim, median_sim, table_sim = median_test(group_A_sim, group_B_sim)
fig, axes = plt.subplots(1, 2, figsize=(20, 7))
axes[0].boxplot([group_A_diff, group_B_diff], labels=["Group A (diff)", "Group B (diff)"])
axes[0].set_title("Groups with Different Medians")
axes[0].set_ylabel("Value")
textstr_diff = '\n'.join((
f"Test Statistic: {stat_diff:.4f}",
f"P-value: {p_value_diff:.5f}",
f"Overall Median: {median_diff:.4f}",
f"Contingency Table:\n{table_diff}"
))
props = dict(boxstyle='round', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr_diff, transform=axes[0].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].boxplot([group_A_sim, group_B_sim], labels=["Group A (sim)", "Group B (sim)"])
axes[1].set_title("Groups with Similar Medians")
axes[1].set_ylabel("Value")
textstr_sim = '\n'.join((
f"Test Statistic: {stat_sim:.4f}",
f"P-value: {p_value_sim:.5f}",
f"Overall Median: {median_sim:.4f}",
f"Contingency Table:\n{table_sim}"
))
axes[1].text(0.05, 0.95, textstr_sim, transform=axes[1].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].grid(lw=2, ls=':', axis='y')
axes[0].grid(lw=2, ls=':', axis='y')
plt.tight_layout()
plt.show()
3、 Friedman檢驗
Friedman檢驗是重復測量設計中的非參數檢驗方法，其作用等同于參數檢驗中的重復測量方差分析。該方法主要用于評估在相同實驗單元（或區組）上實施多種處理時，不同處理之間是否存在顯著差異。
應用場景分析：
運動科學研究：評估同一組運動員在不同訓練方案下的長期表現變化。
免疫學研究：分析同一患者群體在不同治療方案下或不同時間點的免疫應答變化。
金融分析：在多個時間窗口內對比評估同一時間序列數據的不同預測模型性能。
實驗設計包含兩種對照情況：
顯著差異情況：三種處理方法產生統計上顯著不同的效果。
無顯著差異情況：三種處理方法產生統計上相似的效果。
實驗代碼實現：
import numpy as np
from scipy.stats import friedmanchisquare
import matplotlib.pyplot as plt
np.random.seed(456)
# 構造顯著差異數據
method_A1 = np.random.normal(loc=50, scale=5, size=10)
method_B1 = np.random.normal(loc=60, scale=5, size=10)
method_C1 = np.random.normal(loc=70, scale=5, size=10)
stat1, pval1 = friedmanchisquare(method_A1, method_B1, method_C1)
# 構造無顯著差異數據
method_A2 = np.random.normal(loc=50, scale=5, size=10)
method_B2 = np.random.normal(loc=51, scale=5, size=10)
method_C2 = np.random.normal(loc=49.5, scale=5, size=10)
stat2, pval2 = friedmanchisquare(method_A2, method_B2, method_C2)
fig, axes = plt.subplots(1, 2, figsize=(20, 7))
axes[0].boxplot([method_A1, method_B1, method_C1], labels=["A", "B", "C"])
axes[0].set_title("Scenario 1: Significant Difference")
textstr1 = f"Test statistic: {stat1:.4f}\nP-value: {pval1:.4f}"
props = dict(boxstyle='square', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr1, transform=axes[0].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].boxplot([method_A2, method_B2, method_C2], labels=["A", "B", "C"])
axes[1].set_title("Scenario 2: No Significant Difference")
textstr2 = f"Test statistic: {stat2:.4f}\nP-value: {pval2:.4f}"
axes[1].text(0.05, 0.95, textstr2, transform=axes[1].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[0].grid(lw=2, ls=':', axis='y')
axes[1].grid(lw=2, ls=':', axis='y')
plt.tight_layout()
plt.show()
實驗結果分析：
- 顯著差異組：檢驗結果表明組間存在統計顯著性差異，體現為較低的p值和明顯的中位數差異。
- 無顯著差異組：數據分布呈現大量重疊，p值較高，未能拒絕無差異的原假設。
4、Theil-Sen估計方法
Theil-Sen估計器是一種用于線性關系估計的穩健統計方法。與傳統最小二乘法（OLS）相比，該方法基于所有數據點對之間斜率的中位數進行估計，因此對異常值具有較強的抗干擾能力。
主要應用領域：
- 金融數據分析：在存在市場異常波動的情況下估計資產價格趨勢。
- 免疫學研究：分析TCR頻率或抗體水平的時間序列變化趨勢，即使存在個別異常測量值。
- 運動科學研究：在剔除極端表現影響的情況下評估運動員的進步趨勢。
方法驗證實驗
實驗設計包含兩種典型場景：
常規數據場景：數據點呈現規律的線性關系。
異常值場景：數據中包含顯著偏離主要趨勢的異常觀測值。
實驗代碼實現：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression, TheilSenRegressor
np.random.seed(789)
X = np.linspace(0, 10, 50)
y = 3 * X + np.random.normal(0, 1, 50)
# 構造常規數據場景
X1 = X.reshape(-1, 1)
y1 = y.copy()
lr1 = LinearRegression().fit(X1, y1)
ts1 = TheilSenRegressor().fit(X1, y1)
y_pred_lr1 = lr1.predict(X1)
y_pred_ts1 = ts1.predict(X1)
# 構造異常值場景
X2 = X.reshape(-1, 1)
y2 = y.copy()
y2[10] += 20 # 引入正向異常值
y2[25] -= 15 # 引入負向異常值
lr2 = LinearRegression().fit(X2, y2)
ts2 = TheilSenRegressor().fit(X2, y2)
y_pred_lr2 = lr2.predict(X2)
y_pred_ts2 = ts2.predict(X2)
fig, axes = plt.subplots(1, 2, figsize=(20, 10))
axes[0].scatter(X1, y1, color='grey', label='Data')
axes[0].plot(X1, y_pred_lr1, color='red', label='Linear Regression')
axes[0].plot(X1, y_pred_ts1, color='green', label='Theil-Sen')
axes[0].set_title("No Outliers")
axes[0].set_xlabel("X")
axes[0].set_ylabel("Y")
axes[0].legend()
axes[1].scatter(X2, y2, color='grey', label='Data (with outliers)')
axes[1].plot(X2, y_pred_lr2, color='red', label='Linear Regression')
axes[1].plot(X2, y_pred_ts2, color='green', label='Theil-Sen')
axes[1].set_title("With Outliers")
axes[1].set_xlabel("X")
axes[1].set_ylabel("Y")
axes[1].legend()
axes[0].grid(lw=2, ls=':', axis='both')
axes[1].grid(lw=2, ls=':', axis='both')
plt.tight_layout()
plt.show()
實驗結果顯示了Theil-Sen估計器在處理異常值時的優越性，特別是在保持整體趨勢估計穩定性方面表現出明顯優勢。
5、Anderson-Darling檢驗
Anderson-Darling檢驗是一種高效的擬合優度檢驗方法，主要用于驗證數據是否符合特定的理論分布（通常為正態分布）。該方法的特點是對分布尾部的偏差具有較高的敏感度，這一特性使其在某些應用場景下比傳統的Shapiro-Wilk檢驗更具優勢。
應用價值分析：
- 金融數據分析：驗證資產收益率分布的正態性假設，這對于風險管理和投資決策具有重要意義。
- 免疫學研究：評估TCR/BCR多樣性指標的分布特征。
- 運動科學研究：在應用參數統計方法前驗證性能數據的分布假設。
方法驗證實驗
實驗設計對比兩種典型情況：
- 正態分布數據：符合正態分布假設的標準數據集。
- 非正態分布數據：采用指數分布生成的偏態數據。
實驗代碼實現：
import numpy as np
from scipy.stats import anderson
import matplotlib.pyplot as plt
np.random.seed(101)
# 生成正態分布數據
normal_data = np.random.normal(loc=0, scale=1, size=200)
result_normal = anderson(normal_data, dist='norm')
# 生成非正態分布數據（指數分布）
non_normal_data = np.random.exponential(scale=1.0, size=200)
result_non_normal = anderson(non_normal_data, dist='norm')
# 數據可視化分析
fig, axes = plt.subplots(1, 2, figsize=(20, 8))
axes[0].hist(normal_data, bins=20, color='blue', alpha=0.7)
axes[0].set_title("Scenario 1: Normal Data")
textstr_normal = '\n'.join((
f"Statistic: {result_normal.statistic:.4f}",
"Critical Values / Significance Levels:",
*[f" - {sl}% level: CV = {cv:.4f}" for cv, sl in zip(result_normal.critical_values, result_normal.significance_level)]
))
props = dict(boxstyle='round', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr_normal, transform=axes[0].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].hist(non_normal_data, bins=20, color='orange', alpha=0.7)
axes[1].set_title("Scenario 2: Non-Normal Data")
textstr_non_normal = '\n'.join((
f"Statistic: {result_non_normal.statistic:.4f}",
"Critical Values / Significance Levels:",
*[f" - {sl}% level: CV = {cv:.4f}" for cv, sl in zip(result_non_normal.critical_values, result_non_normal.significance_level)]
))
axes[1].text(0.25, 0.95, textstr_non_normal, transform=axes[1].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[0].grid(lw=2, ls=':', axis='y')
axes[1].grid(lw=2, ls=':', axis='y')
plt.tight_layout()
plt.show()
實驗結果分析：
- 正態分布數據：檢驗統計量低于臨界值，表明數據符合正態分布假設。
- 非正態分布數據：檢驗統計量顯著高于臨界值，特別是在分布尾部表現出明顯的偏離。
總結
本文詳細介紹的五種統計檢驗方法，雖然在應用頻率上不及t檢驗或方差分析，但在特定研究場景中具有獨特的優勢，尤其是在處理非正態分布、異常值頻現、以及重復測量等復雜數據情況時：
- Mann-Kendall檢驗：為時間序列趨勢分析提供穩健的非參數方法。
- Mood中位數檢驗：在不要求正態性假設的情況下實現多組中位數的比較。
- Friedman檢驗：為重復測量數據提供可靠的非參數分析方案。
- Theil-Sen估計：提供對異常值具有高度穩健性的趨勢估計方法。
- Anderson-Darling檢驗：在驗證分布假設時提供對尾部偏差更敏感的檢驗方案。
這些方法為研究人員在TCR庫分析、金融數據研究和運動科學等領域提供了有力的統計工具。盡管數據分析本質上具有挑戰性，但這些方法的合理應用可以幫助研究者獲得更可靠的分析結果。
責任編輯：華軒
來源：
DeepHub IMBA
