作者：石川

摘要：Kosowski et al. (2006)、Fama and French (2010) 以及 Harvey and Liu (2022)。

1

年初基金研究文獻(xiàn)綜述中曾提到，研究基金能否提供了顯著的超額收益是該領(lǐng)域中最重要的問(wèn)題。在這方面，最著名的兩篇文章 Kosowski et al. (2006) 和 Fama and French (2010)（以下分別稱 KTWW 和 FF）通過(guò)類似的方法（均采用 bootstrap），卻得出了相反的結(jié)論。KTWW 認(rèn)為有超過(guò) 10% 的基金不能被運(yùn)氣解釋；而另一方面，F(xiàn)F 則表示這個(gè)比例不會(huì)超過(guò) 1%。面對(duì)如此的反差，究竟孰對(duì)孰錯(cuò)？又或者二者皆有所短？回顧兩篇文章，KTWW 對(duì)每個(gè)基金獨(dú)立進(jìn)行 bootstrap，而 FF 則對(duì)基金收益率的 cross-section 進(jìn)行 bootstrap 從而保留截面相關(guān)性。此外，前者考察的基金被要求有至少 60 個(gè)收益率的觀測(cè)數(shù)據(jù)；而在后者中，這一要求被降低到 8 個(gè)。

顯然，最小數(shù)據(jù)量要求以及 bootstrap 做法的差異是造成二者出現(xiàn)截然不同結(jié)論的原因。從結(jié)果來(lái)看，KTWW 的方法過(guò)度拒絕原假設(shè)（原假設(shè)是所有基金都沒(méi)有超額收益），使得在哪怕在所有基金都沒(méi)有超額收益的情況下依然拒絕原假設(shè)。反觀 FF 的做法，其會(huì)導(dǎo)致 bootstrapped 檢驗(yàn)統(tǒng)計(jì)量分布呈現(xiàn)厚尾從而造成原假設(shè)難以被拒絕，因此哪怕存在能夠取得超額收益的基金的情況下，該方法依然會(huì)接受原假設(shè)。

既然二者都不完美，那么有沒(méi)有可能在它們的基礎(chǔ)上改進(jìn)并得到更好的檢驗(yàn)方法、從而更加有效地回答這個(gè)問(wèn)題呢？這意味著我們既要在 bootstrap 時(shí)保留截面相關(guān)性，又要杜絕 bootstrapped 檢驗(yàn)統(tǒng)計(jì)量分布呈現(xiàn)厚尾的問(wèn)題。在這方面，Harvey and Liu (2022) 給出了答案。

2

本節(jié)首先介紹 FF 中檢驗(yàn)統(tǒng)計(jì)量分布的厚尾現(xiàn)象。

Bootstrap 是研究此類問(wèn)題的一個(gè)常規(guī)手段。而我們知道，在實(shí)證窗口內(nèi)，并不是所有基金在全部月份都有收益率數(shù)據(jù)，有的基金年限長(zhǎng)，有些基金則年限短。在 KTWW 中，作者對(duì)每個(gè)基金利用其實(shí)際收益率序列分別采樣；而在 FF 中，作者在實(shí)證窗口內(nèi)的任何時(shí)點(diǎn)在 cross-section 采樣，這意味著采樣出來(lái)的一些基金可能是沒(méi)有收益率數(shù)據(jù)的。這樣做造成的后果是，對(duì)于任何一個(gè)基金來(lái)說(shuō)，其在某個(gè) bootstrapped 樣本中的收益率觀測(cè)數(shù)據(jù)量和其在實(shí)際樣本中收益率的觀測(cè)數(shù)據(jù)量很可能不同。有些基金會(huì)被 oversampled（bootstrapped 樣本中觀測(cè)數(shù)據(jù) > 實(shí)際觀測(cè)數(shù)據(jù)），一些基金則會(huì)被 undersampled（bootstrapped 樣本中觀測(cè)數(shù)據(jù) ）。FF 認(rèn)為，保留 cross-section 相關(guān)性是更加重要的考量，所以上面的后果是可以接受的，此外被 oversampled 和被 undersampled 的基金的影響會(huì)相互抵消，因此不是什么太大的問(wèn)題。此外，為了防止本來(lái)歷史收益率數(shù)據(jù)就很短的基金在 bootstrapped 樣本中缺少足夠的數(shù)據(jù)，F(xiàn)F 要求只有當(dāng)一個(gè)基金在 bootstrapped 樣本中有不少于 8 個(gè)不同的收益率觀測(cè)數(shù)據(jù)時(shí)，才被納入分析。

Harvey and Liu (2022) 通過(guò)實(shí)證分析指出，F(xiàn)F 口中的“不是什么太大的問(wèn)題”恰恰就是問(wèn)題所在。簡(jiǎn)單來(lái)說(shuō)，問(wèn)題可以歸結(jié)為：對(duì)于任何基金，bootstrapped 樣本中都會(huì)出現(xiàn) undersampling 和 oversampling 的情況；但是對(duì)于那些收益率數(shù)據(jù)本來(lái)就很短的基金來(lái)說(shuō)，undersampling 和 oversampling 的影響是不對(duì)稱的，undersampling 的影響大到足以影響整個(gè) bootstrapped 檢驗(yàn)統(tǒng)計(jì)量的分布，即呈現(xiàn)厚尾。

3

為了定量分析 KTWW 和 FF 的問(wèn)題，Harvey and Liu (2022) 設(shè)計(jì)了一個(gè)巧妙的 simulation design。之所以使用 simulation，是因?yàn)?Harvey and Liu (2022) 希望模擬 data generating process。在定量分析中用到的統(tǒng)計(jì)術(shù)語(yǔ)如下表所示。下面的介紹會(huì)重點(diǎn)關(guān)注兩種方法的 test size。

這里插一句，Harvey and Liu (2022) 的 simulation design 和 Harvey and Liu (2021) 異曲同工，它們都可以被視作 Harvey and Liu (2020) 里設(shè)計(jì)的 double bootstrap simulation 的基礎(chǔ)。沒(méi)看過(guò) Harvey and Liu (2020, 2021) 的小伙伴，請(qǐng)參考《出色不如走運(yùn)(V)》和《出色不如走運(yùn)(VI)》。上述兩篇推文對(duì)它們有詳細(xì)介紹。三篇放在一起看一定會(huì)加深對(duì)這類 design 的理解。

Simulation 一共分為五步，下面通過(guò)一個(gè)示例依次說(shuō)明。

第一步（下圖左）和第二步（下圖右）：

假設(shè)實(shí)際數(shù)據(jù)中一共有 8 支基金和 15 期收益率，其中 4 支基金有全部 15 期數(shù)據(jù)，而其他基金的數(shù)據(jù)則不完整，實(shí)際收益率數(shù)據(jù)由??表示。在這些基金中，挑選擁有全部 15 期數(shù)據(jù)的基金進(jìn)入下一步，將它們的收益率數(shù)據(jù)記為??。

第三步（下圖左）和第四步（下圖右）：

對(duì)??中的基金收益率數(shù)據(jù)在時(shí)序上 demean（因此它們都變成 zero-alpha），然后對(duì)這些基金（本示例中是 4），隨機(jī)選擇一定比例（記為??）的基金，并通過(guò)人為指定的 IR 和每個(gè)基金各自的特質(zhì)波動(dòng)率計(jì)算??，并將??賦予上面隨機(jī)選出的那些基金。將上述操作后的數(shù)據(jù)記為??，下標(biāo)??表示第??次人為注入??后的數(shù)據(jù)。不難看出，在??中，??的基金維持了 zero-alpha，而剩下的??基金則被人為注入了??。接下來(lái)，對(duì)??進(jìn)行 bootstrap，得到??。

這里再插一句，個(gè)人認(rèn)為，這里??應(yīng)該記為??更好，因?yàn)樯蠘?biāo)??并不代表某次 bootstrap，而是代表“complete”一詞，表示完整。本該出現(xiàn)的下標(biāo)??代表著基于??的第??次 bootstrap，此外，??和第五步得到的??中的下標(biāo)??是一樣的，即為同一個(gè) bootstrapped 樣本，二者的區(qū)別僅僅是??中沒(méi)有 missing data 的情況（這也正是上標(biāo) c = complete 的含義），而??中存在 missing data 的情況（馬上下文就要解釋）。

第五步：

根據(jù)設(shè)計(jì)，在上述第四步中得到的??? ??不含任何 missing data（比如在本示例中，實(shí)際數(shù)據(jù)一共 15 期，??也一共 15 期，且 4 支基金均有全部 15 期數(shù)據(jù)）。在第五步中，為了模擬實(shí)際中一些基金收益率數(shù)據(jù)較少的情況（即存在 missing data），Harvey and Liu (2022) 按照原始數(shù)據(jù)??中實(shí)際的 missing data 情況對(duì)??進(jìn)行了調(diào)整。比如，在本示例的原始數(shù)據(jù)??中，各有 25% 的基金缺少 1/3 和 2/3 期的數(shù)據(jù)。按照上述比例調(diào)整后，最后基于（每個(gè)）??得到了對(duì)應(yīng)的??。由于示例中的??共有 4 支基金，因此在??中，1 支（4 的 25%）被調(diào)整為只有 5 期收益率數(shù)據(jù)，另外 1 支倍調(diào)整為只有 10 期收益率數(shù)據(jù)。

從上述描述可知，通過(guò)給定??和??的范圍，就可以得到大量的 bootstrapped 樣本??，并通過(guò)它們來(lái)分析 KTWW 和 FF。（除此之外，Harvey and Liu (2022) 還利用??并定義了另一個(gè)??作為分析的基礎(chǔ)。）

對(duì)于我們關(guān)注的 test size 來(lái)說(shuō)（回顧一下本節(jié)一開(kāi)始的那張統(tǒng)計(jì)術(shù)語(yǔ)表，test size 可以理解為?type I error rate），通過(guò)在 simulation 中設(shè)定??以及 IR = 0 即可保證 data generating process 滿足原假設(shè)，即沒(méi)有任何基金存在超額收益。之后，只要通過(guò)將 KTWW 和 FF 的方法應(yīng)用于??樣本就可以計(jì)算它們各自的 test size。為了清晰地展示兩種方法的結(jié)果，Harvey and Liu (2022) 將它們的 test size 和事先指定的 significance level（即 desired level of test size）進(jìn)行了比較 ——?離的越近越好。

上圖中，左圖是 KTWW 的結(jié)果，右圖是 FF 的結(jié)果；我們只需關(guān)注藍(lán)色實(shí)線即可（它們是基于??樣本的結(jié)果；紅色虛線和黑色點(diǎn)劃線是基于??和??的結(jié)果）。由定義可知，test size 是 type I error rate；我們希望某個(gè)方法的結(jié)果離給定的水平（10%）越接近越好。

然而，KTWW 的 test size 明顯高于 10% 的水平，說(shuō)明它的 type I error rate 很高，即更有可能錯(cuò)誤地拒絕原假設(shè)。因此 KTWW 是 oversized。反觀 FF，其 test size 要明顯低于 10% 的水平，說(shuō)明其 type I error rate 更低，即更有可能接受原假設(shè)，因此 FF 是 undersized。上述結(jié)果翻譯成“人話”就是：KTWW 的方法更容易拒絕原假設(shè)，即認(rèn)為作為一個(gè)整體基金能夠獲得顯著超額收益；而 FF 的方法更容易接受原假設(shè)，即認(rèn)為作為一個(gè)整體基金無(wú)法獲得顯著超額收益。

4

至此，Harvey and Liu (2022) 定量分析了 KTWW 和 FF 的問(wèn)題。基于他們的分析，我們可以猜測(cè)針對(duì) FF 最直觀的“改進(jìn)”方法是提高基金最少收益率期數(shù)的約束（比如從 8 提升到和 KTWW 一樣的 60 期），從而徹底杜絕 undersampling 問(wèn)題對(duì) bootstrapped 檢驗(yàn)統(tǒng)計(jì)量分布的影響。不過(guò)這個(gè)約束的收緊意味著大量的基金將被排除在分析之外。

為此，Harvey and Liu (2022) 提出了另一個(gè)改進(jìn)方法：FF 閾值法。首先，考察所有至少有 12 期數(shù)據(jù)的基金。對(duì)于這些基金，分別進(jìn)行 bootstrap 采樣得到每個(gè)基金各自超額收益 t-statistic 的第一和第三四分位數(shù)（分別記為??和??，我省略了代表基金的下標(biāo)??），因而有??。此外，令??表示閾值，并通過(guò)下式計(jì)算每個(gè)基金超額收益 t-statistic 的范圍：

??? ??

在得到每個(gè)基金的范圍后，依照 FF 的方法進(jìn)行 bootstrap。對(duì)于每個(gè) bootstrapped 樣本中的基金，如果其 bootstrapped t-statistic 不在上述范圍之內(nèi)，則從該樣本中剔除掉該基金，并利用剩余的基金進(jìn)行計(jì)算。這就是 FF 閾值法的核心思路。最后，Harvey and Liu (2022) 采用了他們?cè)O(shè)計(jì)的 simulation design 來(lái)確定閾值??。下圖展示了當(dāng)??時(shí)，F(xiàn)F 閾值法的 test size 以及 test power，它們較原始的 FF 方法均有明顯的提升（例如 test size 較給定的 10% 水平已經(jīng)非常接近）。

以上就是對(duì) Harvey and Liu (2022) 的簡(jiǎn)要介紹。當(dāng)然，這篇文章中還有太多的細(xì)節(jié)和分析，值得反復(fù)閱讀。（該文在 JF 官網(wǎng)上是 open access。）

5

Harvey and Liu (2022) 為回答基金?as a whole?是否提供了顯著的超額收益提供了新的解決思路。雖然這次是站在基金而非異象視角，但該文無(wú)疑是金融學(xué)在應(yīng)對(duì)多重假設(shè)檢驗(yàn)問(wèn)題時(shí)的又一力作，也是兩位作者將他們的 research agenda 向前延伸的又一個(gè)里程碑。

寫(xiě)到這里，本文本該自然地結(jié)束。但既然談到了多重假設(shè)檢驗(yàn)這個(gè)話題，我忍不住多嘮叨兩句。對(duì)于金融經(jīng)濟(jì)學(xué)，自 Cochrane 提出 zoo of factors 三問(wèn)之后，多重假設(shè)檢驗(yàn)的研究可以至少追溯到 Harvey, Liu, and Zhu (2016) 以及?Harvey (2017)。這些文章關(guān)注的問(wèn)題是在多重假設(shè)檢驗(yàn)問(wèn)題下，有多少異象可能是虛假的，以及如何改進(jìn)檢驗(yàn)手段從而避免挖出虛假的協(xié)變量。盡管就結(jié)論聞言，這兩篇文章的觀點(diǎn)“不得”學(xué)界人心（畢竟沒(méi)人愿意承認(rèn)自己過(guò)去挖出來(lái)的東西是 p-hacking 出來(lái)的），但它們的計(jì)算是科學(xué)的、措辭是客觀的。至此之后，學(xué)界也更加重視 p-hacking 問(wèn)題，很多新的方法被提出；更多的 data/code sharing policy 被執(zhí)行。

然而大概從兩年前，學(xué)界就之前挖出的異象到底能否被復(fù)制（能復(fù)制說(shuō)明 p-hacking 問(wèn)題不那么嚴(yán)重）的觀點(diǎn)似乎發(fā)生了變化。這方面包括 Bryan Kelly 為作者之一撰寫(xiě)的?Is there a replication crisis in finance??一文，還有另外一位就是我不想提但不得不提的 Andrew Chen。簡(jiǎn)單地說(shuō)，Chen 的觀點(diǎn)是學(xué)界的 p-hacking 問(wèn)題遠(yuǎn)沒(méi)有 Harvey and Liu 說(shuō)的那么嚴(yán)重，僅僅靠 p-hacking 根本找不到這么多?in-sample?顯著的異象，因此后者有些危言聳聽(tīng)。關(guān)于 Chen 和 Harvey and Liu 的“硬扛”，《出色不如走運(yùn)(VI)》有過(guò)詳細(xì)的介紹，此處不再贅述。我在那篇文章里表達(dá)出的觀點(diǎn)依舊是中立的：

“關(guān)于 p-hacking 問(wèn)題有多嚴(yán)重，學(xué)術(shù)界以開(kāi)放的心態(tài)來(lái)討論它至關(guān)重要。從這個(gè)意義上說(shuō)，本文介紹的 Chen (2021) 和 Harvey and Liu (2021) 沒(méi)有誰(shuí)對(duì)誰(shuí)錯(cuò)，都是有益的討論，讓我們可以從不同的視角立體地審視這個(gè)問(wèn)題。”

可后來(lái)不經(jīng)意間，發(fā)現(xiàn) Chen 真的是鐵了心地要和 Harvey 在這個(gè)問(wèn)題上掰掰手腕。這不僅僅局限在發(fā)表學(xué)術(shù)論文這種正當(dāng)途徑，甚至還延伸到了在 twitter 上的人身攻擊。以下兩張截圖是兩人的對(duì)話，一來(lái)一回，高下立判。

真的是看不下去。對(duì)于金融經(jīng)濟(jì)學(xué)來(lái)說(shuō)，多重假設(shè)檢驗(yàn)問(wèn)題到底有多么嚴(yán)重？發(fā)表的異象有多少比例是虛假的？對(duì)于那些真實(shí)的異象來(lái)說(shuō)，樣本外的打折程度又是多少？如何在考慮 Type II error 的前提下確定 t-statistic 閾值？如何根據(jù)先驗(yàn)知識(shí)和所研究的數(shù)據(jù)特點(diǎn)確定合適的 t-statistic 閾值？等等。這些全都是至關(guān)重要的問(wèn)題。Harvey and Liu 的多篇論文對(duì)上述問(wèn)題均有正面回答。而從這些背后我們感受到的是持之以恒的研究和始終如一的態(tài)度。而 Chen 呢？

這不禁讓我想起了一句名言：

"If you really want to do something, you will find a way. If you don't, you will find an excuse."

在多重假設(shè)檢驗(yàn)問(wèn)題上，Harvey and Liu find a way. Chen, however, finds an excuse.

參考文獻(xiàn)

Fama, E. F. and K. R. French (2010). Luck versus skill in the cross-section of mutual fund returns.?Journal of Finance?65(5), 1915 – 1947.

Harvey, C. R. (2017). Presidential address: The scientific outlook in financial economics.?Journal of Finance?72(4), 1399 – 1440.

Harvey, C. R. and Y. Liu (2020). False (and missed) discoveries in financial economics.?Journal of Finance?75(5), 2503 – 2553.

Harvey, C. R. and Y. Liu (2021). Uncovering the iceberg from its tip: A model of publication bias and p-hacking. Working paper.

Harvey, C. R. and Y. Liu (2022). Luck versus skill in the cross section of mutual fund returns: Reexamining the evidence.?Journal of Finance?77(3), 1921 – 1966.

Harvey, C. R., Y. Liu, and H. Zhu (2016). … and the cross-section of expected returns.?Review of Financial Studies?29(1), 5 – 68.

Kosowski, R., A. Timmermann, R. Wermers, and H. White (2006). Can mutual fund “stars” really pick stocks? New evidence from a bootstrap analysis.?Journal of Finance?61(6), 2551 – 2595.

免責(zé)聲明：入市有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。在任何情況下，本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見(jiàn)并不構(gòu)成對(duì)任何人的投資建議。在任何情況下，本文作者及所屬機(jī)構(gòu)不對(duì)任何人因使用本文的任何內(nèi)容所引致的任何損失負(fù)任何責(zé)任。除特別說(shuō)明外，文中圖表均直接或間接來(lái)自于相應(yīng)論文，僅為介紹之用，版權(quán)歸原作者和期刊所有。