關(guān)于如何使用機(jī)器學(xué)習(xí)來(lái)做異常檢測(cè)的7個(gè)問(wèn)題
導(dǎo)讀
本文引用地址:http://cafeforensic.com/article/202007/416171.htm異常檢測(cè)的一些入門(mén)問(wèn)題。
問(wèn)問(wèn)題是學(xué)習(xí)的最好方法之一。但有時(shí)你不知道從哪里開(kāi)始,或者該問(wèn)什么 —— 尤其是在你還比較熟悉的異常檢測(cè)之類的話題上。在這種情況下,最好傾聽(tīng)別人的問(wèn)題,讓他們的思路來(lái)指導(dǎo)你的學(xué)習(xí)。以下是我們?cè)凇癧Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”網(wǎng)絡(luò)研討會(huì)上收到的一些問(wèn)題,可以幫助你入門(mén)。
離群點(diǎn)和異常值的區(qū)別是什么?
離群值是遠(yuǎn)離分布的位置或者平均值的觀測(cè)值。然而,它們并不一定代表異常行為或由不同過(guò)程產(chǎn)生的行為。另一方面,異常是由不同的過(guò)程生成的數(shù)據(jù)模式。
異常檢測(cè)在藥品中有什么應(yīng)用嗎?
異常檢測(cè)在藥物生命科學(xué)領(lǐng)域有許多應(yīng)用。包括在制藥生產(chǎn)中使用統(tǒng)計(jì)過(guò)程控制(SPC)或質(zhì)量控制(QC)和多元過(guò)程控制(MSPC)圖表進(jìn)行過(guò)程監(jiān)控和質(zhì)量控制。及時(shí)發(fā)現(xiàn)異常是避免異常事件發(fā)生,遵守安全標(biāo)準(zhǔn)的關(guān)鍵。發(fā)現(xiàn)柜臺(tái)交易中的異常情況,可以用來(lái)打擊醫(yī)藥零售數(shù)據(jù)中的處方濫用。實(shí)時(shí)檢測(cè)多參數(shù)臨床試驗(yàn)數(shù)據(jù)中的異常,有助于保證臨床試驗(yàn)的成功。
GANs也用于異常檢測(cè)嗎?如果是的話,能否提供一個(gè)行業(yè)用例
生成對(duì)抗網(wǎng)絡(luò)(GANs)是一種新的無(wú)監(jiān)督學(xué)習(xí)方法,在識(shí)別異常方面非常有效。由于GANs是設(shè)計(jì)成迭代的,并且對(duì)抗性訓(xùn)練的目的是利用重構(gòu)樣本來(lái)優(yōu)化減少殘差損失,因此它們?cè)诎虢Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中工作得很好。它們?cè)卺t(yī)學(xué)圖像分析(幫助放射學(xué)家發(fā)現(xiàn)難以識(shí)別的腫瘤)、面部識(shí)別、文本圖像轉(zhuǎn)換等方面非常有用。
數(shù)據(jù)相關(guān)性會(huì)影響異常檢測(cè)嗎?我們可以用什么方法,怎樣減少這些影響?是否最好在開(kāi)始異常檢測(cè)之前清除和刪除關(guān)聯(lián)數(shù)據(jù)?
正如在網(wǎng)絡(luò)研討會(huì)上提到的,我們不認(rèn)為相關(guān)性會(huì)影響異常檢測(cè),但我們有許多可用的技術(shù)來(lái)幫助確定如何處理相關(guān)變量。一個(gè)建議是使用主成分分析(PCA)這樣的技術(shù)來(lái)減少維數(shù)。
建議使用什么樣的算法適合于檢測(cè)與識(shí)別網(wǎng)絡(luò)活動(dòng)或數(shù)據(jù)中的不尋?;顒?dòng)有關(guān)的異常?
正如在網(wǎng)絡(luò)研討會(huì)上提到的,有許多方法和算法可以很好地用于異常檢測(cè)的各種應(yīng)用和用例。其中有遞歸神經(jīng)網(wǎng)絡(luò)(RNN)、生成對(duì)抗網(wǎng)絡(luò)(GAN)、隔離森林、深度自編碼器等。如果你對(duì)網(wǎng)絡(luò)/圖分析特別感興趣,用來(lái)識(shí)別網(wǎng)絡(luò)圖異常的兩種主要方法是直接鄰居離群點(diǎn)檢測(cè)算法(DNODA)和社區(qū)鄰居算法(CNA)。
在我目前的工作中,“新穎性”是我們努力去發(fā)現(xiàn)的主要東西。質(zhì)量控制圖對(duì)于已知的模式很有效,但是自動(dòng)識(shí)別新模式比較困難。我希望能得到一些在這方面有所幫助的工具的想法。
對(duì)于單變量質(zhì)量控制圖,西方的電氣規(guī)則可以用于檢測(cè)少數(shù)常見(jiàn)的模式。經(jīng)典的多元方法,如偏最小二乘(PLS),會(huì)捕獲到涉及不止一個(gè)變量的模式,但不能被單變量方法檢測(cè)。自動(dòng)編碼器是最全面的工具,將涵蓋最廣泛的不同模式。它可以捕獲多變量、循環(huán)、非線性和交互的模式。你使用一組正常數(shù)據(jù)訓(xùn)練autoencoder,在訓(xùn)練集中沒(méi)有出現(xiàn)的新數(shù)據(jù)中出現(xiàn)的任何模式都將被標(biāo)記。
通過(guò)做PCA來(lái)減少維度會(huì)影響數(shù)據(jù)集中的異常嗎?它會(huì)導(dǎo)致異?,F(xiàn)象的消失嗎?如果是這樣,如何預(yù)防呢?
做PCA將會(huì)在原始數(shù)據(jù)集中捕獲一些百分比的方差。因此,我們使用PCA進(jìn)行異常檢測(cè)的方法是計(jì)算原始點(diǎn)到低維空間中表示的點(diǎn)的“距離”。距離越大(即在將觀測(cè)結(jié)果映射到低維空間時(shí)“丟失”的越多),我們就越認(rèn)為它是一種異常。
英文原文:https://www.tibco.com/blog/2020/01/27/7-questions-on-how-to-use-machine-learning-for-anomaly-detection/
評(píng)論