這篇博文是用Python分析股市數(shù)據(jù)系列兩部中的第一部，內(nèi)容基于我猶他大學(xué) 數(shù)學(xué)3900 (數(shù)據(jù)科學(xué))的課程。在這些博文中，我會(huì)討論一些基礎(chǔ)知識(shí)。比如如何用pandas從雅虎財(cái)經(jīng)獲得數(shù)據(jù)， 可視化股市數(shù)據(jù)，平局?jǐn)?shù)指標(biāo)的定義，設(shè)計(jì)移動(dòng)平均交匯點(diǎn)分析移動(dòng)平均線的方法，回溯測(cè)試， 基準(zhǔn)分析法。最后一篇博文會(huì)包含問(wèn)題以供練習(xí)。第一篇博文會(huì)包含平局?jǐn)?shù)指標(biāo)以及之前的內(nèi)容。

注意：本文僅代表作者本人的觀點(diǎn)。文中的內(nèi)容不應(yīng)該被當(dāng)做經(jīng)濟(jì)建議。我不對(duì)文中代碼負(fù)責(zé)，取用者自己負(fù)責(zé)。

引言

金融業(yè)使用高等數(shù)學(xué)和統(tǒng)計(jì)已經(jīng)有段時(shí)日。早在八十年代以前，銀行業(yè)和金融業(yè)被認(rèn)為是“枯燥”的;投資銀行跟商業(yè)銀行是分開(kāi)的,業(yè)界主要的任務(wù)是處理“簡(jiǎn)單的”(跟當(dāng)今相比)的金融職能，例如貸款。里根政府的減少調(diào)控和數(shù)學(xué)的應(yīng)用，使該行業(yè)從枯燥的銀行業(yè)變?yōu)榻裉斓哪印Ｔ谀侵螅鹑谲Q身科學(xué)，成為推動(dòng)數(shù)學(xué)研究和發(fā)展的力量。例如數(shù)學(xué)上一個(gè)重大進(jìn)展是布萊克-舒爾斯公式的推導(dǎo)。它被用來(lái)股票定價(jià) (一份賦予股票持有者以一定的價(jià)格從股票發(fā)行者手中買(mǎi)入和賣(mài)出的合同)。但是, 不好的統(tǒng)計(jì)模型，包括布萊克-舒爾斯模型， 背負(fù)了部分導(dǎo)致2008金融危機(jī)的罵名。

近年來(lái)，計(jì)算機(jī)科學(xué)加入了高等數(shù)學(xué)的陣營(yíng)，為金融和證券交易(為了盈利而進(jìn)行的金融產(chǎn)品買(mǎi)入賣(mài)出行為)帶來(lái)了革命性的變化。如今交易主要由計(jì)算機(jī)來(lái)完成：算法能以人類難以達(dá)到的速度做出交易決策(參看光速的限制已經(jīng)成為系統(tǒng)設(shè)計(jì)中的瓶頸)。機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘也被越來(lái)越廣泛的用到金融領(lǐng)域中，目測(cè)這個(gè)勢(shì)頭會(huì)保持下去。事實(shí)上很大一部分的算法交易都是高頻交易(HFT)。雖然算法比人工快，但這些技術(shù)還是很新，而且被應(yīng)用在一個(gè)以不穩(wěn)定，高風(fēng)險(xiǎn)著稱的領(lǐng)域。據(jù)一條被黑客曝光的白宮相關(guān)媒體推特表明HFT應(yīng)該對(duì)2010 閃電式崩盤(pán) and a 2013 閃電式崩盤(pán) 負(fù)責(zé)。

不過(guò)這節(jié)課不是關(guān)于如何利用不好的數(shù)學(xué)模型來(lái)摧毀證券市場(chǎng)。相反的，我將提供一些基本的Python工具來(lái)處理和分析股市數(shù)據(jù)。我會(huì)講到移動(dòng)平均值，如何利用移動(dòng)平均值來(lái)制定交易策略，如何制定進(jìn)入和撤出股市的決策，記憶如何利用回溯測(cè)試來(lái)評(píng)估一個(gè)決策。

免責(zé)申明：這不是投資建議。同時(shí)我私人完全沒(méi)有交易經(jīng)驗(yàn)(文中相關(guān)的知識(shí)大部分來(lái)自我在鹽湖城社區(qū)大學(xué)參加的一個(gè)學(xué)期關(guān)于股市交易的課程)!這里僅僅是基本概念知識(shí)，不足以用于實(shí)際交易的股票。股票交易可以讓你受到損失(已有太多案例)，你要為自己的行為負(fù)責(zé)。

獲取并可視化股市數(shù)據(jù)

從雅虎金融獲取數(shù)據(jù)

在分析數(shù)據(jù)之前得先得到數(shù)據(jù)。股市數(shù)據(jù)可以從Yahoo! Finance、 Google Finance以及其他的地方拿到。同時(shí)，pandas包提供了輕松從以上網(wǎng)站獲取數(shù)據(jù)的方法。這節(jié)課我們使用雅虎金融的數(shù)據(jù)。

下面的代碼展示了如何直接創(chuàng)建一個(gè)含有股市數(shù)據(jù)的DataFrame。(更多關(guān)于遠(yuǎn)程獲取數(shù)據(jù)的信息，點(diǎn)擊這里(http://pandas.pydata.org/pandas-docs/stable/remote_data.html))

import pandas as pd 
 
import pandas.io.data as web   # Package and modules for importing data; this code may change depending on pandas version 
 
import datetime 
 
  
 
# We will look at stock prices over the past year, starting at January 1, 2016 
 
start = datetime.datetime(2016,1,1) 
 
end = datetime.date.today() 
 
  
 
# Let's get Apple stock data; Apple's ticker symbol is AAPL 
 
# First argument is the series we want, second is the source ("yahoo" for Yahoo! Finance), third is the start date, fourth is the end date 
 
apple = web.DataReader("AAPL", "yahoo", start, end) 
 
  
 
type(apple)  

C:\Anaconda3\lib\site-packages\pandas\io\data.py:35: FutureWarning: 
 
The pandas.io.data module is moved to a separate package (pandas-datareader) and will be removed from pandas in a future version. 
 
After installing the pandas-datareader package (https://github.com/pydata/pandas-datareader), you can change the import ``from pandas.io import data, wb`` to ``from pandas_datareader import data, wb``. 
 
  FutureWarning) 
 
  
 
  
 
  
 
  
 
  
 
pandas.core.frame.DataFrame  

apple.head() 

讓我們簡(jiǎn)單說(shuō)一下數(shù)據(jù)內(nèi)容。Open是當(dāng)天的開(kāi)始價(jià)格(不是前一天閉市的價(jià)格);high是股票當(dāng)天的最高價(jià);low是股票當(dāng)天的最低價(jià);close是閉市時(shí)間的股票價(jià)格。Volume指交易數(shù)量。Adjust close是根據(jù)法人行為調(diào)整之后的閉市價(jià)格。雖然股票價(jià)格基本上是由交易者決定的，stock splits (拆股。指上市公司將現(xiàn)有股票一拆為二，新股價(jià)格為原股的一半的行為)以及dividends(分紅。每一股的分紅)同樣也會(huì)影響股票價(jià)格，也應(yīng)該在模型中被考慮到。

可視化股市數(shù)據(jù)

獲得數(shù)據(jù)之后讓我們考慮將其可視化。下面我會(huì)演示如何使用matplotlib包。值得注意的是appleDataFrame對(duì)象有一個(gè)plot()方法讓畫(huà)圖變得更簡(jiǎn)單。 

import matplotlib.pyplot as plt   # Import matplotlib 
 
# This line is necessary for the plot to appear in a Jupyter notebook 
 
%matplotlib inline 
 
  
 
# Control the default size of figures in this Jupyter notebook 
 
%pylab inline 
 
  
 
pylab.rcParams['figure.figsize'] = (15, 9)   # Change the size of plots 
 
apple["Adj Close"].plot(grid = True) # Plot the adjusted closing price of AAPL  

Populating the interactive namespace from numpy and matplotlib 

線段圖是可行的，但是每一天的數(shù)據(jù)至少有四個(gè)變量(開(kāi)市，股票最高價(jià)，股票最低價(jià)和閉市)，我們希望找到一種不需要我們畫(huà)四條不同的線就能看到這四個(gè)變量走勢(shì)的可視化方法。一般來(lái)說(shuō)我們使用燭柱圖(也稱為日本陰陽(yáng)燭圖表)來(lái)可視化金融數(shù)據(jù)，燭柱圖最早在18世紀(jì)被日本的稻米商人所使用。可以用matplotlib來(lái)作圖，但是需要費(fèi)些功夫。

你們可以使用我實(shí)現(xiàn)的一個(gè)函數(shù)更容易地畫(huà)燭柱圖，它接受pandas的data frame作為數(shù)據(jù)來(lái)源。(程序基于這個(gè)例子, 你可以從這里找到相關(guān)函數(shù)的文檔。)

from matplotlib.dates import DateFormatter, WeekdayLocator,\ 
 
    DayLocator, MONDAY 
 
from matplotlib.finance import candlestick_ohlc 
 
def pandas_candlestick_ohlc(dat, stick = "day", otherseries = None): 
 
    """ 
 
    :param dat: pandas DataFrame object with datetime64 index, and float columns "Open", "High", "Low", and "Close", likely created via DataReader from "yahoo" 
 
    :param stick: A string or number indicating the period of time covered by a single candlestick. Valid string inputs include "day", "week", "month", and "year", ("day" default), and any numeric input indicates the number of trading days included in a period 
 
    :param otherseries: An iterable that will be coerced into a list, containing the columns of dat that hold other series to be plotted as lines 
 
    This will show a Japanese candlestick plot for stock data stored in dat, also plotting other series if passed. 
 
    """ 
 
    mondays = WeekdayLocator(MONDAY)        # major ticks on the mondays 
 
    alldays = DayLocator()              # minor ticks on the days 
 
    dayFormatter = DateFormatter('%d')      # e.g., 12 
 
    # Create a new DataFrame which includes OHLC data for each period specified by stick input 
 
    transdat = dat.loc[:,["Open", "High", "Low", "Close"]] 
 
    if (type(stick) == str): 
 
        if stick == "day": 
 
            plotdat = transdat 
 
            stick = 1 # Used for plotting 
 
        elif stick in ["week", "month", "year"]: 
 
            if stick == "week": 
 
                transdat["week"] = pd.to_datetime(transdat.index).map(lambda x: x.isocalendar()[1]) # Identify weeks 
 
            elif stick == "month": 
 
                transdat["month"] = pd.to_datetime(transdat.index).map(lambda x: x.month) # Identify months 
 
            transdat["year"] = pd.to_datetime(transdat.index).map(lambda x: x.isocalendar()[0]) # Identify years 
 
            grouped = transdat.groupby(list(set(["year",stick]))) # Group by year and other appropriate variable 
 
            plotdat = pd.DataFrame({"Open": [], "High": [], "Low": [], "Close": []}) # Create empty data frame containing what will be plotted 
 
            for name, group in grouped: 
 
                plotdat = plotdat.append(pd.DataFrame({"Open": group.iloc[0,0], 
 
                                            "High": max(group.High), 
 
                                            "Low": min(group.Low), 
 
                                            "Close": group.iloc[-1,3]}, 
 
                                           index = [group.index[0]])) 
 
            if stick == "week": stick = 5 
 
            elif stick == "month": stick = 30 
 
            elif stick == "year": stick = 365 
 
    elif (type(stick) == int and stick >= 1): 
 
        transdat["stick"] = [np.floor(i / stick) for i in range(len(transdat.index))] 
 
        grouped = transdat.groupby("stick") 
 
        plotdat = pd.DataFrame({"Open": [], "High": [], "Low": [], "Close": []}) # Create empty data frame containing what will be plotted 
 
        for name, group in grouped: 
 
            plotdat = plotdat.append(pd.DataFrame({"Open": group.iloc[0,0], 
 
                                        "High": max(group.High), 
 
                                        "Low": min(group.Low), 
 
                                        "Close": group.iloc[-1,3]}, 
 
                                       index = [group.index[0]])) 
 
    else: 
 
        raise ValueError('Valid inputs to argument "stick" include the strings "day", "week", "month", "year", or a positive integer') 
 
    # Set plot parameters, including the axis object ax used for plotting 
 
    fig, ax = plt.subplots() 
 
    fig.subplots_adjust(bottom=0.2) 
 
    if plotdat.index[-1] - plotdat.index[0] < pd.Timedelta('730 days'): 
 
        weekFormatter = DateFormatter('%b %d')  # e.g., Jan 12 
 
        ax.xaxis.set_major_locator(mondays) 
 
        ax.xaxis.set_minor_locator(alldays) 
 
    else: 
 
        weekFormatter = DateFormatter('%b %d, %Y') 
 
    ax.xaxis.set_major_formatter(weekFormatter) 
 
    ax.grid(True) 
 
    # Create the candelstick chart 
 
    candlestick_ohlc(ax, list(zip(list(date2num(plotdat.index.tolist())), plotdat["Open"].tolist(), plotdat["High"].tolist(), 
 
                      plotdat["Low"].tolist(), plotdat["Close"].tolist())), 
 
                      colorup = "black", colordown = "red", width = stick * .4) 
 
    # Plot other series (such as moving averages) as lines 
 
    if otherseries != None: 
 
        if type(otherseries) != list: 
 
            otherseries = [otherseries] 
 
        dat.loc[:,otherseries].plot(ax = ax, lw = 1.3, grid = True) 
 
    ax.xaxis_date() 
 
    ax.autoscale_view() 
 
    plt.setp(plt.gca().get_xticklabels(), rotation=45, horizontalalignment='right') 
 
    plt.show() 
 
pandas_candlestick_ohlc(apple)   

燭狀圖中黑色線條代表該交易日閉市價(jià)格高于開(kāi)市價(jià)格(盈利)，紅色線條代表該交易日開(kāi)市價(jià)格高于閉市價(jià)格(虧損)。刻度線代表當(dāng)天交易的最高價(jià)和最低價(jià)(影線用來(lái)指明燭身的哪端是開(kāi)市，哪端是閉市)。燭狀圖在金融和技術(shù)分析中被廣泛使用在交易決策上，利用燭身的形狀，顏色和位置。我今天不會(huì)涉及到策略。

我們也許想要把不同的金融商品呈現(xiàn)在一張圖上：這樣我們可以比較不同的股票，比較股票跟市場(chǎng)的關(guān)系，或者可以看其他證券，例如交易所交易基金(ETFs)。在后面的內(nèi)容中，我們將會(huì)學(xué)到如何畫(huà)金融證券跟一些指數(shù)(移動(dòng)平均)的關(guān)系。屆時(shí)你需要使用線段圖而不是燭狀圖。(試想你如何重疊不同的燭狀圖而讓圖表保持整潔?)

下面我展示了不同技術(shù)公司股票的數(shù)據(jù)，以及如何調(diào)整數(shù)據(jù)讓數(shù)據(jù)線聚在一起。

microsoft = web.DataReader("MSFT", "yahoo", start, end) 
 
google = web.DataReader("GOOG", "yahoo", start, end) 
 
# Below I create a DataFrame consisting of the adjusted closing price of these stocks, first by making a list of these objects and using the join method 
 
stocks = pd.DataFrame({"AAPL": apple["Adj Close"], 
 
                      "MSFT": microsoft["Adj Close"], 
 
                      "GOOG": google["Adj Close"]}) 
 
stocks.head() 

stocks.plot(grid = True) 

這張圖表的問(wèn)題在哪里呢?雖然價(jià)格的絕對(duì)值很重要(昂貴的股票很難購(gòu)得，這不僅會(huì)影響它們的波動(dòng)性，也會(huì)影響你交易它們的難易度)，但是在交易中，我們更關(guān)注每支股票價(jià)格的變化而不是它的價(jià)格。Google的股票價(jià)格比蘋(píng)果微軟的都高，這個(gè)差別讓蘋(píng)果和微軟的股票顯得波動(dòng)性很低，而事實(shí)并不是那樣。

一個(gè)解決辦法就是用兩個(gè)不同的標(biāo)度來(lái)作圖。一個(gè)標(biāo)度用于蘋(píng)果和微軟的數(shù)據(jù);另一個(gè)標(biāo)度用來(lái)表示Google的數(shù)據(jù)。

stocks.plot(secondary_y = ["AAPL", "MSFT"], grid = True) 

一個(gè)“更好”的解決方法是可視化我們實(shí)際關(guān)心的信息：股票的收益。這需要我們進(jìn)行必要的數(shù)據(jù)轉(zhuǎn)化。數(shù)據(jù)轉(zhuǎn)化的方法很多。其中一個(gè)轉(zhuǎn)化方法是將每個(gè)交易日的股票交個(gè)跟比較我們所關(guān)心的時(shí)間段開(kāi)始的股票價(jià)格相比較。也就是：

這需要轉(zhuǎn)化stock對(duì)象中的數(shù)據(jù)，操作如下：

# df.apply(arg) will apply the function arg to each column in df, and return a DataFrame with the result 
 
# Recall that lambda x is an anonymous function accepting parameter x; in this case, x will be a pandas Series object 
 
stock_return = stocks.apply(lambda x: x / x[0]) 
 
stock_return.head()  

stock_return.plot(grid = True).axhline(y = 1, color = "black", lw = 2)  

[[195993]] 

這個(gè)圖就有用多了。現(xiàn)在我們可以看到從我們所關(guān)心的日期算起，每支股票的收益有多高。而且我們可以看到這些股票之間的相關(guān)性很高。它們基本上朝同一個(gè)方向移動(dòng)，在其他類型的圖表中很難觀察到這一現(xiàn)象。

我們還可以用每天的股值變化作圖。一個(gè)可行的方法是我們使用后一天$t + 1$和當(dāng)天$t$的股值變化占當(dāng)天股價(jià)的比例： 

我們也可以比較當(dāng)天跟前一天的價(jià)格：

以上的公式并不相同，可能會(huì)讓我們得到不同的結(jié)論，但是我們可以使用對(duì)數(shù)差異來(lái)表示股票價(jià)格變化：

(這里的 

是自然對(duì)數(shù),我們的定義不完全取決于使用 

 還是 

.) 使用對(duì)數(shù)差異的好處是該差異值可以被解釋為股票的百分比差異，但是不受分母的影響。

下面的代碼演示了如何計(jì)算和可視化股票的對(duì)數(shù)差異：

# Let's use NumPy's log function, though math's log function would work just as well 
 
import numpy as np 
 
stock_change = stocks.apply(lambda x: np.log(x) - np.log(x.shift(1))) # shift moves dates back by 1. 
 
stock_change.head() 

stock_change.plot(grid = True).axhline(y = 0, color = "black", lw = 2)  

你更傾向于哪種轉(zhuǎn)換方法呢?從相對(duì)時(shí)間段開(kāi)始日的收益差距可以明顯看出不同證券的總體走勢(shì)。不同交易日之間的差距被用于更多預(yù)測(cè)股市行情的方法中，它們是不容被忽視的。

移動(dòng)平均值

圖表非常有用。在現(xiàn)實(shí)生活中，有些交易人在做決策的時(shí)候幾乎完全基于圖表(這些人是“技術(shù)人員”，從圖表中找到規(guī)律并制定交易策略被稱作技術(shù)分析，它是交易的基本教義之一。)下面讓我們來(lái)看看如何找到股票價(jià)格的變化趨勢(shì)。

一個(gè)q天的移動(dòng)平均值(用 

來(lái)表示)定義為：對(duì)于某一個(gè)時(shí)間點(diǎn)t，它之前q天的平均值。

移動(dòng)平均值可以讓一個(gè)系列的數(shù)據(jù)變得更平滑，有助于我們找到趨勢(shì)。q值越大，移動(dòng)平均對(duì)短期的波動(dòng)越不敏感。移動(dòng)平均的基本目的就是從噪音中識(shí)別趨勢(shì)。快速的移動(dòng)平均有偏小的q，它們更接近股票價(jià)格;而慢速的移動(dòng)平均有較大的q值，這使得它們對(duì)波動(dòng)不敏感從而更加穩(wěn)定。

pandas提供了計(jì)算移動(dòng)平均的函數(shù)。下面我將演示使用這個(gè)函數(shù)來(lái)計(jì)算蘋(píng)果公司股票價(jià)格的20天(一個(gè)月)移動(dòng)平均值，并將它跟股票價(jià)格畫(huà)在一起。

apple["20d"] = np.round(apple["Close"].rolling(window = 20, center = False).mean(), 2) 
 
pandas_candlestick_ohlc(apple.loc['2016-01-04':'2016-08-07',:], otherseries = "20d") 

注意到平均值的起始點(diǎn)時(shí)間是很遲的。我們必須等到20天之后才能開(kāi)始計(jì)算該值。這個(gè)問(wèn)題對(duì)于更長(zhǎng)時(shí)間段的移動(dòng)平均來(lái)說(shuō)是個(gè)更加嚴(yán)重的問(wèn)題。因?yàn)槲蚁Ｍ铱梢杂?jì)算200天的移動(dòng)平均，我將擴(kuò)展我們所得到的蘋(píng)果公司股票的數(shù)據(jù)，但我們主要還是只關(guān)注2016。

start = datetime.datetime(2010,1,1) 
 
apple = web.DataReader("AAPL", "yahoo", start, end) 
 
apple["20d"] = np.round(apple["Close"].rolling(window = 20, center = False).mean(), 2) 
 
pandas_candlestick_ohlc(apple.loc['2016-01-04':'2016-08-07',:], otherseries = "20d") 

你會(huì)發(fā)現(xiàn)移動(dòng)平均比真實(shí)的股票價(jià)格數(shù)據(jù)平滑很多。而且這個(gè)指數(shù)是非常難改變的：一支股票的價(jià)格需要變到平局值之上或之下才能改變移動(dòng)平均線的方向。因此平均線的交叉點(diǎn)代表了潛在的趨勢(shì)變化，需要加以注意。

交易者往往對(duì)不同的移動(dòng)平均感興趣，例如20天，50天和200天。要同時(shí)生成多條移動(dòng)平均線也不難： 

apple["50d"] = np.round(apple["Close"].rolling(window = 50, center = False).mean(), 2) 
 
apple["200d"] = np.round(apple["Close"].rolling(window = 200, center = False).mean(), 2) 
 
pandas_candlestick_ohlc(apple.loc['2016-01-04':'2016-08-07',:], otherseries = ["20d", "50d", "200d"]) 

20天的移動(dòng)平均線對(duì)小的變化非常敏感，而200天的移動(dòng)平均線波動(dòng)最小。這里的200天平均線顯示出來(lái)總體的熊市趨勢(shì)：股值總體來(lái)說(shuō)一直在下降。20天移動(dòng)平均線所代表的信息是熊市牛市交替，接下來(lái)有可能是牛市。這些平均線的交叉點(diǎn)就是交易信息點(diǎn)，它們代表股票價(jià)格的趨勢(shì)會(huì)有所改變因而你需要作出能盈利的相應(yīng)決策。

更新：該文章早期版本提到算法交易跟高頻交易是一個(gè)意思。但是網(wǎng)友評(píng)論指出這并不一定：算法可以用來(lái)進(jìn)行交易但不一定就是高頻。高頻交易是算法交易中間很大的一部分，但是兩者不等價(jià)。