在實際的運維場景中，構(gòu)建一個異常檢測系統(tǒng)往往需要兩個角色共同參與：領(lǐng)域?qū)＜液退惴ㄩ_發(fā)人員。領(lǐng)域?qū)＜乙簿褪俏覀兊倪\維人員，他們對KPI曲線的行為很熟悉，可以通過觀察KPI曲線并結(jié)合自己的領(lǐng)域知識，判斷KPI曲線是否出現(xiàn)異常；算法開發(fā)人員負責(zé)構(gòu)建異常檢測系統(tǒng)，他們熟悉異常檢測器（算法），但是實際中有各種不同類型的KPI曲線需要維護，所以需要為不同類型的KPI曲線選擇合適的異常檢測器以及合適的算法參數(shù)。

　　如何構(gòu)建一個異常檢測系統(tǒng)？

　　在實際構(gòu)建異常檢測系統(tǒng)時，首先需要運維人員結(jié)合自己的領(lǐng)域知識向算法開發(fā)人員描述異常，然后開發(fā)人員根據(jù)這些描述來為KPI曲線選擇合適的檢測器和算法參數(shù)，接著領(lǐng)域?qū)＜腋鶕?jù)這些檢測器的檢測結(jié)果向開發(fā)人員反饋，來進一步優(yōu)化檢測器。所以實際中經(jīng)常需要經(jīng)過多次迭代才能開發(fā)出可用的異常檢測系統(tǒng)，有時還會出現(xiàn)最終開發(fā)失敗的例子，這是因為：

　　1.運維人員難以事先給出準確、量化的異常定義

　　2.選擇和綜合不同的檢測器需要很多人力

　　3.檢測器算法復(fù)雜，參數(shù)調(diào)節(jié)不直觀

　　實際中經(jīng)常需要經(jīng)過多次迭代才能開發(fā)出可用的異常檢測系統(tǒng)，有時還會出現(xiàn)最終開發(fā)失敗的例子。因此，我們就會問，有沒有一個可以自動選擇異常檢測器和自動調(diào)節(jié)算法參數(shù)的系統(tǒng)呢？答案是有！，我們實驗室的研究成果：基于機器學(xué)習(xí)的KPI自動化異常檢測系統(tǒng)（Opprentice）就是針對它設(shè)計的，下文將主要介紹Opprentice 的設(shè)計思想以及設(shè)計框架。

　　設(shè)計思想

　　Opprentice （Operator's Apprentice）的主要思想就是跟著運維人員從歷史數(shù)據(jù)中學(xué)習(xí)，運維人員就像是一個“師傅”，將自己的領(lǐng)域知識“教“給Opprentice，然后Opprentice根據(jù)“學(xué)”到的知識來自動選擇合適的異常檢測器和算法參數(shù)。如下圖所示，運維人員首先在歷史的KPI曲線上標記出異常，接著Opprentice 使用十幾種不同類型的檢測器提取出上百個異常特征，此時有了人工標記的數(shù)據(jù)和異常特征，我們就可以將異常檢測問題轉(zhuǎn)化成機器學(xué)習(xí)中監(jiān)督式的分類問題，將提取出的特征作為機器學(xué)習(xí)算法的輸入，通過分類算法將KPI曲線上的點分為正常和異常，從而實現(xiàn)了異常檢測。


　　Opprentice主要由兩部分組成：離線訓(xùn)練分類器和在線檢測，在離線訓(xùn)練分類器部分，首先運維人員使用我們開發(fā)的異常標注工具，方便快速的標注出KPI曲線上的異常數(shù)據(jù)，并且設(shè)置期望Opprentice達到的準確率（precision）和召回率（recall），然后Opprentice會使用十幾種不同類型的檢測器提取出KPI曲線的特征，其中每種檢測器都有多種不同的參數(shù)配置，因此最終會提取出上百個異常特征。因為提取出的上百個異常特征中會存在無關(guān)特征和冗余特征，一些機器學(xué)習(xí)算法使用包含有這些特征的數(shù)據(jù)訓(xùn)練模型時準確度會降低，為了解決這個問題，我們選擇了一種集成學(xué)習(xí)算法（ensemble learning algorithm）來訓(xùn)練分類器：隨機森林，隨機森林算法使用了多棵決策樹，最終的結(jié)果是由每棵決策樹的結(jié)果投票決定的，并且訓(xùn)練決策樹的特征和數(shù)據(jù)都只是采樣了整體特征和數(shù)據(jù)的一部分，因此使用隨機森林訓(xùn)練模型時，無關(guān)特征和冗余特征不會影響算法的性能。最后，將提取出的異常特征，運維人員的標注數(shù)據(jù)和準確性傾向作為輸入，訓(xùn)練出異常分類器。

　　在線檢測部分中，首先對于新的數(shù)據(jù)點進行特征提取，然后用訓(xùn)練出的分類器判斷數(shù)據(jù)點是否異常。在實際中，新的KPI數(shù)據(jù)中往往會出現(xiàn)一些歷史數(shù)據(jù)中沒有出現(xiàn)過的異常類型，為了讓分類器可以適應(yīng)新出現(xiàn)的異常，就需要運維人員定期的對最新的KPI數(shù)據(jù)進行異常標記，Opprentice會定期訓(xùn)練新的模型來更新分類器。


　　我們使用了來自百度和清華校園網(wǎng)的數(shù)個月的真實數(shù)據(jù)對系統(tǒng)的性能進行了驗證，下面四幅圖是在四個不同類型的KPI數(shù)據(jù)上，Opprentice使用的隨機森林模型跟其它檢測器的性能對比，可以看出Opprentice均取得了優(yōu)異的結(jié)果。

　　總結(jié)

　　Opprentice將異常檢測問題轉(zhuǎn)換成了機器學(xué)習(xí)中的監(jiān)督式分類問題，使用運維人員的標注數(shù)據(jù)，在歷史數(shù)據(jù)中訓(xùn)練出分類模型來自動構(gòu)建異常檢測系統(tǒng)，從而解決了異常檢測器的選擇和算法參數(shù)調(diào)整的難題，為復(fù)雜檢測器的實際應(yīng)用提供了自動化的框架。