作者：石川

摘要：無(wú)記憶性使得很多復(fù)雜的問(wèn)題變得易于分析和計(jì)算。今天通過(guò)氣溫和飲食的例子來(lái)介紹馬爾可夫和隱馬爾可夫模型。

1 引言

明天的世界只與今天有關(guān)，而與昨天無(wú)關(guān)。

這句話是對(duì)馬爾可夫模型的一個(gè)很好的詮釋。在概率論中，馬爾可夫模型是一個(gè)非常重要的狀態(tài)空間隨機(jī)模型（stochastic state space model）。該模型假設(shè)一個(gè)系統(tǒng)或隨機(jī)變量在下一時(shí)刻的狀態(tài)僅和當(dāng)前的狀態(tài)有關(guān)，而與任何過(guò)去的歷史狀態(tài)都無(wú)關(guān)，即當(dāng)前的狀態(tài)已經(jīng)包括了預(yù)測(cè)未來(lái)所需的所有信息。這個(gè)特性被稱為馬爾可夫性質(zhì)（Markov property），也被稱為無(wú)記憶性（memorylessness）。馬爾可夫模型由俄羅斯數(shù)學(xué)家安德雷 ? 馬爾可夫（Андрей Андреевич Марков）提出。該模型在預(yù)測(cè)建模方面有著廣泛的應(yīng)用。近年來(lái)，也有越來(lái)越多的人將它用在量化投資領(lǐng)域。

根據(jù)在時(shí)間上以及在狀態(tài)空間中是否連續(xù)，馬爾可夫模型又有不同的版本，比如連續(xù)的馬爾可夫過(guò)程（Markov process）和離散的馬爾可夫鏈（Markov chain）。本文中，為了便于介紹，我們考慮最簡(jiǎn)單的離散模型，即模型在時(shí)間和狀態(tài)上都是離散的。時(shí)間上離散意味著系統(tǒng)僅在特定的時(shí)間點(diǎn)上發(fā)生狀態(tài)的變化（比如每小時(shí)或者每天發(fā)生一次變化）；狀態(tài)空間上離散意味著系統(tǒng)狀態(tài)的取值是非連續(xù)的。此外我們假設(shè)狀態(tài)的取值個(gè)數(shù)是有限的。離散模型雖然簡(jiǎn)單，但在本文最后一節(jié)可以看出，它在量化投資領(lǐng)域同樣有重要的應(yīng)用價(jià)值。

在正常的馬爾可夫模型中，系統(tǒng)的狀態(tài)對(duì)于觀察者來(lái)說(shuō)是直接可見(jiàn)的，我們關(guān)心的是諸如系統(tǒng)在不同時(shí)刻處于不同狀態(tài)的概率這類問(wèn)題。遺憾的是，在一些應(yīng)用中（比如量化投資中的一些問(wèn)題），我們并不能直接觀測(cè)到系統(tǒng)的狀態(tài)——這些狀態(tài)對(duì)我們來(lái)說(shuō)是隱形的。雖然無(wú)法直接觀測(cè)到狀態(tài)，但是受這些狀態(tài)影響的觀測(cè)量的取值對(duì)我們來(lái)說(shuō)是可見(jiàn)的；我們需要透過(guò)這些觀測(cè)量的取值來(lái)推測(cè)系統(tǒng)所處的狀態(tài)。這樣的模型稱為隱馬爾可夫模型（Hidden Markov Models，簡(jiǎn)稱 HMM）。

2 馬爾可夫模型的一個(gè)例子

假設(shè)我們要分析的系統(tǒng)是城市 S 的每天的氣溫。為了簡(jiǎn)化問(wèn)題，令氣溫分為冷和熱兩個(gè)狀態(tài)。在馬爾可夫模型的框架下，該系統(tǒng)有兩個(gè)狀態(tài)，且狀態(tài)間的轉(zhuǎn)移由下面四個(gè)條件概率來(lái)表示：

這個(gè)系統(tǒng)可以由下面這個(gè)馬爾可夫鏈表示，其中 1 和 2 分別代表了熱和冷兩個(gè)狀態(tài)，箭頭表明了狀態(tài)之間的轉(zhuǎn)移、旁邊的數(shù)字表明了轉(zhuǎn)移發(fā)生的概率。

這四個(gè)條件概率又被稱為狀態(tài)之間的轉(zhuǎn)移概率。一般的，一個(gè)具有 K 個(gè)狀態(tài)的馬爾可夫過(guò)程，對(duì)于所有的 i, j ∈ {1, 2, …, K}，其在 t – 1 到 t 時(shí)刻從狀態(tài) i 到狀態(tài) j 的轉(zhuǎn)移概率便構(gòu)成了轉(zhuǎn)移矩陣（transition matrix）中。因此轉(zhuǎn)移矩陣中第 i 行第 j 列的元素為：

對(duì)于一個(gè)離散的馬爾可夫過(guò)程來(lái)說(shuō)，轉(zhuǎn)移矩陣包括了刻畫(huà)其狀態(tài)變換隨機(jī)性的全部信息。有了轉(zhuǎn)移矩陣，我們可以方便的求解各種關(guān)于系統(tǒng)狀態(tài)的概率問(wèn)題。比如，在本節(jié)的例子中，如果城市 S 今天的天氣是熱，那么我們可以方便的計(jì)算出明天（乃至任意若干天之后）天氣情況的概率；我們也可以回答例如未來(lái)五天連續(xù)出現(xiàn)天冷（或熱）的概率?？傊?，有了這個(gè)轉(zhuǎn)移矩陣，一切關(guān)于系統(tǒng)狀態(tài)的問(wèn)題都可以計(jì)算。

3 隱馬爾可夫模型的一個(gè)例子

在隱馬爾可夫模型中，系統(tǒng)的狀態(tài)并不是直接可見(jiàn)的，但受狀態(tài)影響的某些觀測(cè)量則是可見(jiàn)的。這些觀測(cè)量受不同狀態(tài)的影響不同，即不同狀態(tài)下，這些觀測(cè)量有著不同的概率分布。因此通過(guò)分析觀測(cè)量序列，我們可以對(duì)系統(tǒng)的狀態(tài)做出判斷。為了解釋隱馬爾可夫模型，仍然考慮城市 S 的天氣的例子。假設(shè)天氣仍然只有冷、熱兩個(gè)狀態(tài)。但與前面例子不同的是，你無(wú)法直接獲得關(guān)于 S 的天氣信息（比如你不生活在該城且沒(méi)有它的天氣預(yù)報(bào)）。 所幸的是，你有一個(gè)好朋友 c 居住在 S 城。他根據(jù)當(dāng)天的天氣情況，每天從火鍋、拉面和冰激凌三種食品中以不同的概率挑選一種來(lái)吃，并把吃了什么告訴你。具體的，在不同天氣下，朋友 c 選擇這三種食品的概率如下。

因此，雖然你不知道 S 城的天氣， 但是知道 c 每天的飲食。因此你可以通過(guò)朋友的飲食信息判斷 S 城的冷暖。比如 ?c 告訴你他連續(xù)吃了五天火鍋，那么你可以判斷出過(guò)去五天 S 城的天氣很可能都處于冷的狀態(tài)，因?yàn)樵谔炖鋾r(shí) c 吃火鍋的概率遠(yuǎn)大于天熱時(shí)。這就是隱馬爾可夫模型要解決的問(wèn)題之一。

在數(shù)學(xué)上，隱馬爾可夫模型如下圖所示。其內(nèi)在的馬爾可夫過(guò)程仍然由轉(zhuǎn)移矩陣 A 來(lái)刻畫(huà)，只不過(guò)狀態(tài)對(duì)你來(lái)說(shuō)它是不可見(jiàn)的。除了 A 之外，狀態(tài)與觀測(cè)值之間的關(guān)系——即觀測(cè)值在不同狀態(tài)下不同的概率分布——由發(fā)散概率（emission probability）B 來(lái)決定。值得一提的是，雖然在本例中，觀測(cè)值（火鍋、拉面、冰激凌）在不同狀態(tài)（天冷、熱）下的概率分布是離散的，但是這個(gè)概率分布也完全可以是連續(xù)的。這完全由待考察的問(wèn)題決定。

在任意時(shí)刻 ?t，系統(tǒng)處于未知的狀態(tài) X_t，根據(jù)對(duì)應(yīng)的發(fā)散概率產(chǎn)生相應(yīng)的觀測(cè)值 O_t，這對(duì)于你來(lái)說(shuō)是可見(jiàn)的。如何根據(jù)觀測(cè)值序列來(lái)推測(cè)狀態(tài)序列，或者如何根據(jù)轉(zhuǎn)移概率和發(fā)散概率計(jì)算某個(gè)觀測(cè)值出現(xiàn)的概率，這些都是隱馬爾可夫模型想要回答的問(wèn)題。

4 三類問(wèn)題

在隱馬爾可夫模型（HMM）中，視要解決的問(wèn)題而定，A 和 B 對(duì)你來(lái)說(shuō)可以是已知的或未知的。具體的，我們可以解決三類問(wèn)題。

對(duì)于量化投資來(lái)說(shuō)，在建模時(shí)，A 和 B 基本上都是未知的，因此第三類問(wèn)題是我們最關(guān)心的。下面分別對(duì)這三類問(wèn)題做簡(jiǎn)要介紹。前兩類問(wèn)題看似非常接近，都是知道 A，B 和 O，然后求一個(gè)概率。但是他們又略有不同。我們用上一節(jié)的那個(gè)氣溫和飲食的例子做一個(gè)解釋。假設(shè)連續(xù)三天 c 的飲食都是火鍋；而這三天的天氣冷、熱狀態(tài)一共有 8 種可能，如下表所示。

在這 8 中情況下，朋友 c 均有可能連續(xù)吃三天火鍋，只不過(guò)在不同的狀態(tài)序列下，他連續(xù)吃三天火鍋的概率不同（概率見(jiàn)上表）。如果連續(xù)三天都很冷，那么他都吃火鍋的概率為 0.125，如果三天都很熱，那么他吃火鍋的概率則僅為 0.001。在第一類問(wèn)題中，我們不關(guān)心產(chǎn)生吃三天火鍋這個(gè)觀測(cè)序列的具體狀態(tài)序列；我們關(guān)心的是在所有可能的狀態(tài)序列下，發(fā)生這個(gè)觀測(cè)序列的總的概率。這個(gè)概率就是上面八種情況的加權(quán)總和，權(quán)重為每個(gè)狀態(tài)序列出現(xiàn)的概率，這個(gè)概率可以通過(guò)狀態(tài)的初始概率分布以及轉(zhuǎn)移矩陣 A 求出。在第二類問(wèn)題中，我們關(guān)心的是，在所有能夠產(chǎn)生連吃三天火鍋這個(gè)觀測(cè)序列的狀態(tài)序列中，產(chǎn)生該觀測(cè)序列的可能性最大的那個(gè)——即在何種狀態(tài)序列下，發(fā)生這個(gè)觀測(cè)序列的概率最高。例如在上面這個(gè)問(wèn)題中，最有可能產(chǎn)生連吃三天火鍋的氣溫狀態(tài)序列是冷冷冷。

對(duì)于這兩類問(wèn)題的求解，上面這個(gè)例子也許也許給你一個(gè)錯(cuò)覺(jué)：只要羅列出狀態(tài)所有的排列組合就行了。但不要忘了，這個(gè)例子中僅考慮了兩個(gè)狀態(tài)和三個(gè)觀測(cè)值，因此僅有 2^3 = 8 種情況。在實(shí)際問(wèn)題中，如果有 N 個(gè)狀態(tài)和 T 個(gè)觀測(cè)值，可能的狀態(tài)序列為 N^T 個(gè)。因此，對(duì)于計(jì)算機(jī)來(lái)說(shuō)，窮舉法的計(jì)算量級(jí)為 O(N^T)，當(dāng) N 和/或 T 很大時(shí)，列出所有的可能是低效甚至是不切實(shí)際的。好消息是，我們可以使用更有效的算法來(lái)代替窮舉法。對(duì)于第一類問(wèn)題，一個(gè)有效的算法為向前算法（forward algorithm）；對(duì)于第二類問(wèn)題，一個(gè)有效的算法為維特比算法（Viterbi algorithm）。這兩種算法都屬于動(dòng)態(tài)規(guī)劃算法，計(jì)算量級(jí)要比窮舉的計(jì)算量級(jí)小得多。感興趣的讀者可以進(jìn)一步參考相關(guān)資料。

最后，來(lái)看第三類問(wèn)題。它事實(shí)上是一個(gè)模型訓(xùn)練問(wèn)題。HMM 就是我們的模型，觀測(cè)序列就是我們的數(shù)據(jù)。機(jī)器學(xué)習(xí)需要通過(guò)數(shù)據(jù)訓(xùn)練模型，得到 HMM 的最佳參數(shù) A 和 B。比如，在上面這個(gè)例子中，我們的飲食觀測(cè)序列可以是 { 火鍋、拉面、拉面、火鍋、冰激凌、冰激凌、……、拉面、火鍋 }，另外我們知道天氣的狀態(tài)有兩個(gè)。這些信息便是我們所有的輸入，機(jī)器學(xué)習(xí)將通過(guò)它們訓(xùn)練 HMM 模型。訓(xùn)練 HMM 模型的標(biāo)準(zhǔn)算法是 Baum-Welch 算法（又稱為 forward-backward 算法），它屬于一種最大期望算法（Expectation-Maximization algorithm，EM 算法）。它通過(guò)迭代算法，不斷的改進(jìn)對(duì) A 和 B 的估計(jì)，直到參數(shù)收斂。得到 A 和 B 之后，就可以用它們計(jì)算和回答有關(guān)狀態(tài)序列的一系列問(wèn)題。下面就來(lái)看一個(gè)量化投資領(lǐng)域的例子。

5 HMM 在量化投資領(lǐng)域的應(yīng)用

HMM 在量化投資中有哪些作用呢？也許我們最關(guān)心的問(wèn)題是：它能否被用來(lái)預(yù)測(cè)收益率或者價(jià)格呢？從馬爾可夫性質(zhì)出發(fā)，我并不看好這種可能性。雖然 HMM 的無(wú)記憶性可以支持（弱）有效市場(chǎng)假說(shuō)（即當(dāng)前價(jià)格就包含了對(duì)其未來(lái)做預(yù)測(cè)所需的全部信息），但種種經(jīng)驗(yàn)表明，弱有效市場(chǎng)假說(shuō)并不成立。由于信息對(duì)不同投資者的擴(kuò)散速度不同，以及行為金融學(xué)中的反應(yīng)過(guò)度和反應(yīng)不足，價(jià)格或收益率的歷史數(shù)據(jù)在預(yù)測(cè)未來(lái)時(shí)也能起到一定的作用。這顯然與 HMM 的無(wú)記憶性不符合。

舉例來(lái)說(shuō)，如果已知今天上漲了 1% 來(lái)預(yù)測(cè)明天的收益率，我們?nèi)匀粫?huì)看一看過(guò)去一段時(shí)間的漲跌情況：連漲 3 天和連跌 5 天后發(fā)生的 1% 的上漲對(duì)投資者的感受顯然是不同的，收益率的歷史軌跡將影響未來(lái)的收益率。雖然也許無(wú)法直接預(yù)測(cè)收益率，但是 HMM 模型可以被用來(lái)進(jìn)行市場(chǎng)狀態(tài)監(jiān)測(cè)（market regime detection）。每當(dāng)新的監(jiān)管或政策的出臺(tái)，市場(chǎng)的狀態(tài)可能發(fā)生系統(tǒng)性的轉(zhuǎn)變。這將對(duì)投資策略產(chǎn)生本質(zhì)的影響。從這個(gè)意義上說(shuō)，監(jiān)測(cè)市場(chǎng)狀態(tài)十分必要。由于市場(chǎng)的“真實(shí)狀態(tài)”對(duì)于我們來(lái)說(shuō)是未知的——其實(shí)就連市場(chǎng)有幾個(gè)狀態(tài)都需要我們?cè)诮Ｖ薪o定 —— 因此它是一個(gè)無(wú)監(jiān)督學(xué)習(xí)問(wèn)題。

下面僅以一個(gè)非常簡(jiǎn)單的例子說(shuō)明 HMM 在這方面的應(yīng)用。假設(shè)市場(chǎng)有兩個(gè)狀態(tài)；觀測(cè)序列為上證指數(shù)的日對(duì)數(shù)收益率（觀測(cè)期為 2011 年 1 月到 2017 年 7 月）。此外，我們需要指定發(fā)散概率分布的形態(tài)。由于對(duì)數(shù)收益率近似的滿足正態(tài)分布，因此我們假設(shè)在給定的市場(chǎng)狀態(tài)下，觀測(cè)值滿足不同參數(shù)的正態(tài)分布（即它是連續(xù)的分布，這與上面那個(gè)天氣和飲食例子中離散的發(fā)散概率分布不同）。我們希望通過(guò)訓(xùn)練 HMM 模型，根據(jù)收益率序列來(lái)估計(jì) HMM 的參數(shù)，并以此判斷每個(gè)交易日市場(chǎng)所處的狀態(tài)。這無(wú)疑屬于第三類問(wèn)題。使用最大期望算法，得到的結(jié)果如下圖所示。

從圖中可以推測(cè)出 HMM 將市場(chǎng)劃分為平靜（狀態(tài) 1）和高波動(dòng)（狀態(tài) 2）兩個(gè)狀態(tài)。在 2014 年底之前，市場(chǎng)在絕大多數(shù)時(shí)間處于平靜狀態(tài)，但也不時(shí)出現(xiàn)高波動(dòng)狀態(tài)。在 2014 年底開(kāi)始至 2016 年初結(jié)束的牛熊周期中，市場(chǎng)處于高波動(dòng)狀態(tài)之中。自股災(zāi)結(jié)束之后，市場(chǎng)則完全處于平靜狀態(tài)。雖然使用 HMM 直接預(yù)測(cè)收益率并不實(shí)際，但是對(duì)市場(chǎng)狀態(tài)的正確判斷無(wú)疑對(duì)資產(chǎn)配置和風(fēng)險(xiǎn)控制至關(guān)重要。無(wú)獨(dú)有偶，從 2016 年第一季度開(kāi)始，美股也進(jìn)入了“百年不遇”的低波動(dòng)周期，恐慌指數(shù) VIX 屢創(chuàng)新低。在最近的研究中，高盛就對(duì)美股的低波動(dòng)性進(jìn)行了剖析。

無(wú)論我們多么小心，低波動(dòng)率都會(huì)在我們還沒(méi)有準(zhǔn)備好時(shí)戛然停止；unknown unknowns 也一定會(huì)到來(lái)。想要應(yīng)對(duì)這些，首先必須對(duì)市場(chǎng)狀態(tài)有正確的認(rèn)知，這便是 HMM 在量化投資領(lǐng)域的價(jià)值之一。

免責(zé)聲明：入市有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。在任何情況下，本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見(jiàn)并不構(gòu)成對(duì)任何人的投資建議。在任何情況下，本文作者及所屬機(jī)構(gòu)不對(duì)任何人因使用本文的任何內(nèi)容所引致的任何損失負(fù)任何責(zé)任。除特別說(shuō)明外，文中圖表均直接或間接來(lái)自于相應(yīng)論文，僅為介紹之用，版權(quán)歸原作者和期刊所有。