作者：石川

摘要：本文介紹如何使用 Bootstrap 進(jìn)行參數(shù)估計(jì)。該方法對總體分布不做假設(shè)，可以用于各種統(tǒng)計(jì)量，十分強(qiáng)大。

1 從 t 分布說起

在量化投資領(lǐng)域，有大量需要進(jìn)行參數(shù)估計(jì)（parameter estimation）的場景。比如在按照馬科維茨的均值方差框架配置資產(chǎn)時(shí)，就必須計(jì)算投資品的收益率均值和協(xié)方差矩陣。很多時(shí)候，對于需要的統(tǒng)計(jì)量，僅有點(diǎn)估計(jì)（point estimate）是不夠的，我們更感興趣的是從樣本數(shù)據(jù)得到的點(diǎn)估計(jì)和該統(tǒng)計(jì)量在未知總體中的真實(shí)值之間的誤差。在這方面，區(qū)間估計(jì) —— 即計(jì)算出目標(biāo)統(tǒng)計(jì)量的置信區(qū)間（confidence interval）—— 可以提供我們需要的信息。

談到置信區(qū)間，人們最熟悉的當(dāng)屬計(jì)算總體均值（population mean）的置信區(qū)間。這是因?yàn)樵?strong style="box-sizing: border-box;">中心極限定理（Central Limit Theorem）和正態(tài)分布假設(shè)（Normal distribution）下，總體均值的置信區(qū)間存在一個優(yōu)雅的解析表達(dá)。利用樣本均值和其 standard error 計(jì)算出的 test statistic 滿足 t 分布（Student's t-distribution），通過查表找到置信區(qū)間兩邊各自對應(yīng)的 t 統(tǒng)計(jì)量的臨界值（critical value）便可以方便的求出置信區(qū)間。由于 t 分布是對稱的，因此總體均值的置信區(qū)間是關(guān)于樣本均值對稱的。

讓我們稱上述計(jì)算置信區(qū)間的方法為傳統(tǒng)的 Normal Theory 方法。我想花點(diǎn)時(shí)間來聊聊該方法背后的兩個強(qiáng)大假設(shè)：中心極限定理和正態(tài)分布。假設(shè)總體滿足正態(tài)分布，而我們想計(jì)算均值的置信區(qū)間。如果總體的標(biāo)準(zhǔn)差 σ 已知，則可以使用正態(tài)分布計(jì)算均值的置信區(qū)間；如果 σ 未知，則使用樣本的標(biāo)準(zhǔn)差 s 代替，并且利用 t 分布來代替正態(tài)分布計(jì)算均值的計(jì)算區(qū)間。這就是 t 分布被提出來的初衷。因此，使用 t 分布計(jì)算均值的置信區(qū)間隱含著總體分布滿足正態(tài)分布這個假設(shè)。但是，對于實(shí)際中的問題，總體并不滿足正態(tài)分布，因此看起來我們不能使用 t 分布計(jì)算均值的置信區(qū)間。好消息是，我們還有另外一個“大招”：中心極限定理。中心極限定理告訴我們，不管總體的分布是什么樣，總體的均值近似滿足正態(tài)分布，因此我們?nèi)匀豢梢允褂?t 分布計(jì)算置信區(qū)間。

可見，對于一個未知分布總體均值的推斷，我們必須倚賴中心極限定理和正態(tài)分布的假設(shè)。如果未知分布非常不規(guī)則或樣本數(shù)不足，則中心極限定理指出的均值近似為正態(tài)分布便難以成立，而基于 t 分布計(jì)算出來的均值置信區(qū)間也不夠準(zhǔn)確。除了均值外，對于人們關(guān)心的許多其他統(tǒng)計(jì)量，比如中位數(shù)、分位數(shù)、標(biāo)準(zhǔn)差、或者相關(guān)系數(shù)，它們與均值不同，無法從 Normal Theory 中可以得到優(yōu)雅的解析表達(dá)式來計(jì)算其置信區(qū)間，因此上述傳統(tǒng)方法無能為力。從上面的分析可知，僅僅掌握傳統(tǒng)的 Normal Theory 方法局限性很大，使得我們在求解置信區(qū)間的很多問題面前舉步維艱。因此，今天就給大家介紹一個利器 —— Bootstrap 方法。它在計(jì)算統(tǒng)計(jì)量的置信區(qū)間時(shí)大有可為。

2 Bootstrap 方法

The bootstrap is a computer-based method for assigning measures of accuracy to statistical estimates. -- Efron & Tibshirani, An introduction to the bootstrap, 1993

自 1979 年以來，Bootstrap 方法得到了廣泛的推廣，其始作俑者是 Bradley Efron （Bootstrap 這個詞也是他發(fā)明的）。它的核心思想是通過使用數(shù)據(jù)本身，從而估計(jì)從該數(shù)據(jù)中計(jì)算出來的統(tǒng)計(jì)數(shù)據(jù)的變化。現(xiàn)代計(jì)算機(jī)強(qiáng)大的計(jì)算能力使得該方法的實(shí)現(xiàn)非常簡單。Bootstrap 一詞出自英文習(xí)語“pull yourself up by your bootstraps”，它的直譯是“通過拉你自己靴子的鞋帶把你自己從地面上拉起來”。它的隱含意是“improve your situation by your own efforts”，即“通過你自己的努力（而非他人幫助）來解決困難改善處境”。因此，Bootstrap 一詞就代表了“自力更生”。放到參數(shù)估計(jì)的上下文中，Bootstrap 意味著我們僅僅通過使用手頭上的樣本數(shù)據(jù)（樣本數(shù)據(jù)“自力更生”）而不對總體的分布做任何假設(shè)（比如傳統(tǒng)方法中的正態(tài)分布假設(shè)），來計(jì)算樣本統(tǒng)計(jì)量在估計(jì)總體統(tǒng)計(jì)量時(shí)的誤差。

The central idea is that it may sometimes be better to draw conclusions about the characteristics of a population strictly from the sample at hand, rather than by making perhaps unrealistic assumptions about the population. -- Mooney & Duval, Bootstrapping, 1993

目標(biāo)夠偉大（樣本數(shù)據(jù)自力更生），但具體要怎么做呢？如何僅僅通過（反復(fù)的）使用手頭的數(shù)據(jù)來對同樣從這些數(shù)據(jù)中得到的統(tǒng)計(jì)量進(jìn)行誤差估計(jì)呢？這里面要用到一個非常重要的技巧：可置換的重采樣（resampling with replacement）。在這個定義中，“可置換”是核心。什么是“可置換”呢？舉個例子。假設(shè)袋子里有標(biāo)號 1 到 10 的小球。我們“可置換”地不斷地從袋子里隨機(jī)抽出小球。第一次抽出了 3 號小球；“可置換”是說在下一次抽取之前把 3 號小球重新放回到袋子里；即在第二次抽取的時(shí)候，我們?nèi)匀挥锌赡茉俅纬榈?3 號小球（它和其他 9 個球被抽到的概率是一樣的），這便是可置換的含義。作為對比，生活中更多的是“無置換的抽取”，比如體彩 36 中 7 或者世界杯抽簽，抽出的小球都不會再放回池子中。

下面就來看看 Bootstrap 的原則。假設(shè)我們有如下設(shè)定：

Bootstrap 原則指出：“Bootstrap 樣本統(tǒng)計(jì)量 u* 圍繞原始樣本統(tǒng)計(jì)量 u 的變化（簡稱為 u* 的變化）” 是 “原始樣本統(tǒng)計(jì)量 u 圍繞總體統(tǒng)計(jì)量 v 的變化（簡稱為 u 的變化）” 的一個很好的近似。

為了計(jì)算 u* 的變化，我們只需要對原始樣本數(shù)據(jù)進(jìn)行大量的可置換重采樣（為此需要使用計(jì)算機(jī)的計(jì)算能力，在沒有計(jì)算機(jī)的年代，手動進(jìn)行大量重采樣的工作量可想而知），得到許多 Bootstrap 樣本，并從每個樣本中計(jì)算出統(tǒng)計(jì)量 u* 的一個取值，這些取值便構(gòu)成 u* 的分布。使用 u* 的分布計(jì)算出 u* 如何圍繞 u 變化，以此來推斷統(tǒng)計(jì)量 u 如何圍繞 v 變化。顯然，統(tǒng)計(jì)量 u 的變化與樣本大小有關(guān)。因此用 u* 的變化作為 u 的變化的近似的前提是每個 Bootstrap 樣本的大小和原始樣本大小相同。根據(jù) Bootstrap 原則，使用經(jīng)驗(yàn) Bootstrap 方法（empirical Bootstrap method）就可以計(jì)算任何總體統(tǒng)計(jì)量的置信區(qū)間。

3 經(jīng)驗(yàn) Bootstrap 方法

我們以計(jì)算某未知分布均值的置信區(qū)間為例說明經(jīng)驗(yàn) Bootstrap 方法。假設(shè)我們從某未知分布的總體中得到下面 10 個樣本數(shù)據(jù)：30，37，36，43，42，48，43，46，41，42。我們的問題有兩個：（1）估計(jì)總體的均值（點(diǎn)估計(jì)），（2）計(jì)算置信水平為 80% 的 Bootstrap 置信區(qū)間。第一個問題很容易回答，樣本均值 40.8 就是總體均值 μ 的點(diǎn)估計(jì)。對于第二個問題，由于樣本點(diǎn)太少（僅有 10 個）且總體分布未知（無法做正態(tài)分布假設(shè)），因此我們摒棄傳統(tǒng)的方法，而采用經(jīng)驗(yàn) Bootstrap 方法計(jì)算其置信區(qū)間。

計(jì)算 μ 的置信區(qū)間的本質(zhì)是回答這樣一個問題：樣本均值 \bar x 的分布是如何圍繞總體均值 μ 變化的。換句話說，我們想知道 δ = \bar x – μ 的分布。δ 就是當(dāng)我們使用 \bar x 來估計(jì) μ 時(shí)的誤差。

如果我們知道 δ 的分布，則可以找到待求置信區(qū)間左右兩端的臨界值。在本例中，因?yàn)槲覀冴P(guān)心的是置信水平為 80% 的置信區(qū)間，因此 δ 的臨界值是 10% 和 90% 分位對應(yīng)的 δ_{0.9} 和 δ_{0.1}。由此計(jì)算出 μ 置信區(qū)間為：

這是因?yàn)椋?/span>

值得一提的是，上面的概率是條件概率，它表示假設(shè)總體均值為?μ 的條件下，樣本均值 \bar x 圍繞總體均值?μ 的變化在 δ_{0.1} 和 δ_{0.9} 之間的概率。不幸的是，由于來自總體的樣本只有一個（上面的 10 個數(shù)）且 μ 的真實(shí)值未知，我們并不知道 δ 的分布（因此也就不知道 δ_{0.9} 和 δ_{0.1}）。但是我們?nèi)匀焕髟谑郑蔷褪?Bootstrap 原則。它指出雖然我們不知道?\bar x 如何圍繞 μ 變化（即 δ 的分布），但是它可以由 \bar x* 如何圍繞 \bar x 變化（即 δ* 的分布）來近似，這里?δ* 是利用 Bootstrap 樣本計(jì)算的均值與原始樣本均值之間的差：

通過進(jìn)行多次有置換的重采樣，得到多個 Bootstrap 樣本，每一個樣本中都可以計(jì)算出一個均值。使用每一個 Bootstrap 樣本均值減去原始樣本均值（40.8）就得到 δ* 的一個取值。利用計(jì)算機(jī)，很容易產(chǎn)生足夠多的 Bootstrap 樣本，即足夠多的 δ* 的取值。根據(jù)大數(shù)定理（law of large numbers），隨著樣本個數(shù)的增加， δ* 的分布也越來越精確。有了 δ* 的分布，就可以找到 δ*_{0.9} 和 δ*_{0.1}，并用它們作為 δ_{0.9} 和 δ_{0.1} 的估計(jì)，從而計(jì)算出 μ 的置信區(qū)間：

上述思路就是經(jīng)驗(yàn) Bootstrap 方法的強(qiáng)大所在。回到上面這個例子中。利用計(jì)算機(jī)產(chǎn)生 200 個 Bootstrap 樣本（下圖顯示了前 10 個 Bootstrap 樣本，每列一個）。

由這 200 個 Bootstrap 樣本計(jì)算出 200 個 δ*，它們的取值范圍在 -4.4 到 4.0 之間，δ* 的累積密度函數(shù)如下圖所示。

接下來，從這 200 個 δ* 中找出 δ*_{0.9} 和 δ*_{0.1}。由于 δ*_{0.9} 對應(yīng)的是 10% 分位數(shù)，而 δ*_{0.1} 對應(yīng)的是 90% 分位數(shù)，我們將 200 個 δ* 從小到大排序，其中第 20 個和第 181 個就是我們需要的數(shù)值：δ*_{0.9} = -1.9 以及 δ*_{0.1} = 2.2。由于原始樣本均值為 40.8，因此求出 μ 的 80% 的置信區(qū)間為：

4 Bootstrap 百分位法

讓我們來看看另外一種方法：Bootstrap 百分位法（Bootstrap percentile method）。它與經(jīng)驗(yàn) Bootstrap 方法的不同之處在于，它不是用 δ* 的分布去近似 δ 的分布，而是直接使用來自 Bootstrap 樣本的統(tǒng)計(jì)量的分布作為原始樣本統(tǒng)計(jì)量的分布。

讓我們?nèi)匀挥蒙弦还?jié)中的例子來說明這種方法。在那個例子中，我們對原始樣本數(shù)據(jù)進(jìn)行有置換的重采樣，得到了 200 個 Bootstrap 樣本。對于每個樣本，計(jì)算出樣本均值，因此一共有 200 個均值，它們構(gòu)成了 Bootstrap 樣本統(tǒng)計(jì)量 \bar x* 的分布（下圖）。

Bootstrap 百分位法使用來自 Bootstrap 樣本統(tǒng)計(jì)量 \bar x* 的分布作為原始樣本統(tǒng)計(jì)量 \bar x 的分布的一個近似。因此，在這種方法下，我們只需要找到 \bar x* 分布中 10% 分位和 90% 分位對應(yīng)的 \bar x* 的取值，它們就構(gòu)成了 μ 的置信區(qū)間。在本例中，這兩個分位對應(yīng)的 \bar x* 的取值分別為 38.9 和 43，因此按這種方法得到的 μ 的置信區(qū)間為：[38.9, 43]。不難發(fā)現(xiàn)，上述兩種方法得到的置信區(qū)間并不相同。它們是各有千秋還是說其中一個更準(zhǔn)確呢？經(jīng)驗(yàn) Bootstrap 法和 Bootstrap 百分位法的區(qū)別如下：

Bootstrap 原則傳達(dá)的是這樣一個意思：樣本統(tǒng)計(jì)量 \bar x 是以總體統(tǒng)計(jì)量?μ 為中心圍繞其波動；Bootstrap 樣本統(tǒng)計(jì)量 \bar x* 是以原始樣本統(tǒng)計(jì)量 \bar x 為中心圍繞其波動。如果 \bar x 和?μ 有較大的差異，則?\bar x 和 \bar x* 的分布也會不同（即 Bootstrap 百分位法的假設(shè)不成立）。反觀 δ 和?δ*，它們的分布各自描述 \bar x 如何圍繞?μ 波動以及 \bar x* 如何圍繞 \bar x 波動。Bootstrap 原則指出即使 \bar x 和 \bar x* 分布不同，δ* 的分布仍然是?δ 的分布的一個很好的近似，因此以原始樣本均值 \bar x 為中心，以 δ* 的分布計(jì)算出誤差，最終得到的 μ 的置信區(qū)間是比較準(zhǔn)確的。由此可知，經(jīng)驗(yàn) Bootstrap 方法優(yōu)于 Bootstrap 百分位法。在實(shí)踐中，應(yīng)該使用前者。下圖概括了上文中對二者的比較。

5 Bootstrapped-t 方法

除了上面介紹的兩種方法外，最后我還想再提另一種方法：Bootstrapped-t 方法。這種方法和第一節(jié)中介紹的傳統(tǒng)方法十分接近。在傳統(tǒng)方法中，基于 Normal Theory 的假設(shè)，我們只需要知道 t 統(tǒng)計(jì)量的臨界值就可以計(jì)算均值的置信區(qū)間。傳統(tǒng)方法假設(shè)待估計(jì)的統(tǒng)計(jì)量的分布是對稱的。然而在現(xiàn)實(shí)問題中，這個假設(shè)可能無法滿足，所以假設(shè)對稱并通過查表找出 t 統(tǒng)計(jì)量的臨界值會有問題（因?yàn)榈玫降闹眯艆^(qū)間是對稱的）。由此提出了 Bootstrapped-t 方法。

這種方法的核心思想是將每個 Bootstrap 樣本中計(jì)算的統(tǒng)計(jì)量轉(zhuǎn)化成一個對應(yīng)的 t 統(tǒng)計(jì)量。這樣，有多少個 Bootstrap 樣本我們就有多少個 Bootstrapped?t 統(tǒng)計(jì)量。由此，可以計(jì)算出 Bootstrapped?t 統(tǒng)計(jì)量的分布。用這個分布代替查表來找到計(jì)算置信區(qū)間時(shí)所需的 t 統(tǒng)計(jì)量的臨界值，從而計(jì)算置信區(qū)間：

其中 s_{\bar x} 是 \bar x 的 standard error。以均值為例，可以通過下面的關(guān)系式將每個 Bootstrap 樣本的均值轉(zhuǎn)化為對應(yīng)的 Bootstrapped t 統(tǒng)計(jì)量（注：如果研究的對象不是均值，則 Bootstrapped t 統(tǒng)計(jì)量會出現(xiàn)不存在解析式的情況）：

其中，\bar x*_i 和 s*_i 分別為第 i 個 Bootstrap 樣本的均值和標(biāo)準(zhǔn)差；n 為樣本大小。仍以前面的例子說明這種方法如何計(jì)算 μ 的置信區(qū)間。對于每個 Bootstrap 樣本，計(jì)算其 Bootstrapped t 統(tǒng)計(jì)量，它們的累積密度函數(shù)為：

通過 Bootstrapped t 統(tǒng)計(jì)量很容易找到臨界值 -1.17 和 1.81。因此，μ 的置信區(qū)間為：[31.82, 46.62]。這個置信區(qū)間的范圍遠(yuǎn)遠(yuǎn)大于前面兩種方法的置信區(qū)間。介紹這種方法的目的是為了給讀者開拓思路。在實(shí)踐中推薦使用經(jīng)驗(yàn) Bootstrap 方法。

6 不止均值

到目前未知，本文的例子中均已均值作為目標(biāo)統(tǒng)計(jì)量，這便于將不同的 Bootstrap 方法得到的置信區(qū)間進(jìn)行比較。然而，Bootstrap 方法在計(jì)算置信區(qū)間時(shí)可以考慮各種傳統(tǒng)方法無能為力的統(tǒng)計(jì)量。下面就來看看中位數(shù)的例子。仍然以第三節(jié)中的十個數(shù)（30，37，36，43，42，48，43，46，41，42）作為來自某個未知總體的一組樣本。采用經(jīng)驗(yàn) Bootstrap 方法，我們來計(jì)算中位數(shù)的 95% 的置信區(qū)間。使用之前用到的 200 個 Bootstrap 樣本，可以得到中位數(shù)誤差的臨界值。由于考慮的是 95% 的置信區(qū)間，因此臨界值為 2.5% 和 97.5% 分位對應(yīng)的誤差：-5.0 和 2.5。從原始數(shù)據(jù)易知，樣本的中位數(shù)是 42。因此，中位數(shù)的 95% 的置信區(qū)間為：[39.5, 47]。

7 Bootstrap 與量化投資

本文介紹了如何使用 Bootstrap 技術(shù)計(jì)算參數(shù)估計(jì)的誤差。Bootstrap 方法對總體分布不做假設(shè)，且可以被應(yīng)用于我們感興趣的各種統(tǒng)計(jì)量，這些特點(diǎn)使得它非常強(qiáng)大。當(dāng)然，需要說明的是 Bootstrap 中的重采樣并不能夠幫助我們改進(jìn)點(diǎn)估計(jì)（point estimate）。以均值為例，原始樣本均值 \bar x 就是總體均值?μ 的點(diǎn)估計(jì)。我們使用重采樣得到很多 Bootstrap 樣本，并且得到很多 Bootstrap 樣本均值 \bar x*，則這些 \bar x* 的平均值將會非常接近 \bar x （事實(shí)上，可以證明 E[\bar x*] —— \bar x* 的期望 —— 就是 \bar x）。換句話說，對于點(diǎn)估計(jì)，Bootstrap 樣本均值并不能比 \bar x 提供任何新的信息。但是，這些 \bar x* 的取值對于估計(jì) \bar x 如何圍繞?μ 變化非常有效，這便是我們在全文中反復(fù)強(qiáng)調(diào)的 Bootstrap 的核心。

在量化投資領(lǐng)域，Bootstrap 也有廣泛的應(yīng)用。例如，Bootstrap 可以用來對參數(shù)估計(jì)的偏差進(jìn)行修正，比如投資品收益率之間的相關(guān)系數(shù)。投資品的歷史收益率數(shù)據(jù)就是我們僅有的樣本，通過重采樣并利用經(jīng)驗(yàn) Bootstrap 方法，可以求出各種統(tǒng)計(jì)量的估計(jì)誤差，這無疑有助于我們更好的構(gòu)建投資策略，進(jìn)行風(fēng)險(xiǎn)防控。又比如，簡單的分類算法（比如分類樹）可以用來進(jìn)行選股，但是它對樣本數(shù)據(jù)比較敏感，預(yù)測的方差較大。在這方面可以采用 Bootstrap 技巧作為元算法技術(shù)用于一般分類算法（比如結(jié)合 Bootstrap 和分類樹得到的裝袋算法），這可以明顯地降低分類算法的方差，從而提高預(yù)測的準(zhǔn)確性（感興趣的讀者請看《“少樹”服從“多樹”（下）》）。

最后，本文介紹的幾種方法都屬于無參數(shù) Bootstrap 方法，即對總體分布不做任何假設(shè)。在一些應(yīng)用中，如果能夠明確總體分布的類型，也可以使用 Bootstrap 方法進(jìn)行參數(shù)估計(jì)，這稱之為參數(shù)化 Bootstrap 方法。比如，我們已知總體分布滿足指數(shù)分布，但是不知道其參數(shù) λ。這時(shí)，可以利用參數(shù)化 Bootstrap 方法計(jì)算出 Bootstrap 樣本中 λ* 的誤差的分布，用它來估計(jì) λ 的置信區(qū)間。由于空間有限，本文不再展開介紹。

免責(zé)聲明：入市有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。在任何情況下，本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見并不構(gòu)成對任何人的投資建議。在任何情況下，本文作者及所屬機(jī)構(gòu)不對任何人因使用本文的任何內(nèi)容所引致的任何損失負(fù)任何責(zé)任。除特別說明外，文中圖表均直接或間接來自于相應(yīng)論文，僅為介紹之用，版權(quán)歸原作者和期刊所有。