華中師范大學(xué)專升本數(shù)據(jù)挖掘概念和技術(shù)讀書筆記

　 時(shí)代的挑戰(zhàn)
　　近十幾年來,人們利用信息技術(shù)生產(chǎn)和搜集數(shù)據(jù)的能力大幅度提高,千千萬萬個(gè)數(shù)據(jù)庫被用于商業(yè)管理、政府辦公、科學(xué)研究和工程開發(fā)等等,這一勢頭仍將持續(xù)發(fā)展下去。于是,一個(gè)新的挑戰(zhàn)被提了出來:在這被稱之為信息爆炸的時(shí)代,信息過量幾乎成為人人需要面對(duì)的問題。如何才能不被信息的汪洋大海所淹沒,從中及時(shí)發(fā)現(xiàn)有用的知識(shí),提高信息利用率呢?要想使數(shù)據(jù)真正成為一個(gè)公司的資源,只有充分利用它為公司自身的業(yè)務(wù)決策和戰(zhàn)略發(fā)展服務(wù)才行,否則大量的數(shù)據(jù)可能成為包袱,甚至成為垃圾。需要是發(fā)明之母，因此,面對(duì)"人們被數(shù)據(jù)淹沒,人們卻饑餓于知識(shí)"的挑戰(zhàn),數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)(DMKD)技術(shù)應(yīng)運(yùn)而生,并得以蓬勃發(fā)展,越來越顯示出其強(qiáng)大的生命力。
　　這里所說的知識(shí)發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而皆準(zhǔn)的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學(xué)定理和純數(shù)學(xué)公式，更不是什么機(jī)器定理證明。實(shí)際上，所有發(fā)現(xiàn)的知識(shí)都是相對(duì)的，是有特定前提和約束條件，面向特定領(lǐng)域的，同時(shí)還要能夠易于被用戶理解。最好能用自然語言表達(dá)所發(fā)現(xiàn)的結(jié)果。
　　歷史的必然
　　從商業(yè)數(shù)據(jù)到商業(yè)信息的進(jìn)化過程中，每一步前進(jìn)都是建立在上一步的基礎(chǔ)上的。見下表。表中我們可以看到，第四步進(jìn)化是革命性的，因?yàn)閺挠脩舻慕嵌葋砜?，這一階段的數(shù)據(jù)庫技術(shù)已經(jīng)可以快速地回答商業(yè)上的很多問題了。
　　從下表中還可以清晰得看到，數(shù)據(jù)挖掘的應(yīng)運(yùn)而生是歷史必然的選擇，它符合人類社會(huì)的認(rèn)識(shí)事物的客觀發(fā)展規(guī)律，僅從這一點(diǎn)上來講，剛剛開始處于流行中的數(shù)據(jù)挖掘的前景還是非常樂觀的。
　　進(jìn)化階段 商業(yè)問題 支持技術(shù) 產(chǎn)品廠家 產(chǎn)品特點(diǎn)
　　數(shù)據(jù)搜集
　　年代) “過去五年中我的總收入是多少？” 計(jì)算機(jī)、磁帶和磁盤 IBM,CDC 提供歷史性的、靜態(tài)的數(shù)據(jù)信息
　　數(shù)據(jù)訪問
　　年代) “在紐約的分部去年三月的銷售額是多少？” 關(guān)系數(shù)據(jù)庫（RDBMS），結(jié)構(gòu)化查詢語言（SQL），ODBC Oracle、Sybase、Informix、IBM、Microsoft 在記錄級(jí)提供歷史性的、動(dòng)態(tài)數(shù)據(jù)信息
　　數(shù)據(jù)倉庫；
決策支持
　　年代) “在紐約的分部去年三月的銷售額是多少？洛杉磯據(jù)此可得出什么結(jié)論？” 聯(lián)機(jī)分析處理（OLAP）、多維數(shù)據(jù)庫、數(shù)據(jù)倉庫 Pilot、Comshare、Arbor、Cognos、Microstrategy 在各種層次上提供回溯的、動(dòng)態(tài)的數(shù)據(jù)信息
　　數(shù)據(jù)挖掘
　?。ㄕ诹餍校?“下個(gè)月洛杉磯的銷售會(huì)怎么樣？為什么？” 高級(jí)算法、多處理器計(jì)算機(jī)、海量數(shù)據(jù)庫 Pilot、Lockheed、IBM、SGI、其他初創(chuàng)公司 提供預(yù)測性的信息
　 數(shù)據(jù)挖掘的定義
　　數(shù)據(jù)挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。還有很多和這一術(shù)語相近似的術(shù)語,如從數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)(KDD)、數(shù)據(jù)分析、數(shù)據(jù)融合(Data Fusion)以及決策支持等。人們把原始數(shù)據(jù)看作是形成知識(shí)的源泉,就像從礦石中采礦一樣。原始數(shù)據(jù)可以是結(jié)構(gòu)化的,如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù),也可以是半結(jié)構(gòu)化的,如文本、圖形、圖像數(shù)據(jù),甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識(shí)的方法可以是數(shù)學(xué)的,也可以是非數(shù)學(xué)的;可以是演繹的,也可以是歸納的。發(fā)現(xiàn)了的知識(shí)可以被用于信息管理、查詢優(yōu)化、決策支持、過程控制等,還可以用于數(shù)據(jù)自身的維護(hù)。因此,數(shù)據(jù)挖掘是一門非常廣義的交叉學(xué)科,它匯聚了不同領(lǐng)域的研究者,尤其是數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計(jì)、可視化、并行計(jì)算等方面的學(xué)者和工程技術(shù)人員。
　　簡而言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法。數(shù)據(jù)分析本身已經(jīng)有很多年的歷史，只不過在過去數(shù)據(jù)收集和分析的目的是用于科學(xué)研究，另外，由于當(dāng)時(shí)計(jì)算能力的限制，對(duì)大數(shù)據(jù)量進(jìn)行分析的復(fù)雜數(shù)據(jù)分析方法受到很大限制?，F(xiàn)在，由于各行業(yè)業(yè)務(wù)自動(dòng)化的實(shí)現(xiàn)，商業(yè)領(lǐng)域產(chǎn)生了大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)不再是為了分析的目的而收集的，而是由于
　　商業(yè)運(yùn)作而產(chǎn)生。分析這些數(shù)據(jù)也不再是單純?yōu)榱搜芯康男枰?，更主要是為商業(yè)決策提供真正有價(jià)值的信息，進(jìn)而獲得利潤。但所有企業(yè)面臨的一個(gè)共同問題是：企業(yè)數(shù)據(jù)量非常大，而其中真正有價(jià)值的信息卻很少，因此從大量的數(shù)據(jù)中經(jīng)過深層分析，獲得有利于商業(yè)運(yùn)作、提高競爭力的信息，就像從礦石中淘金一樣，數(shù)據(jù)挖掘也因此而得名。
　　數(shù)據(jù)挖掘的知識(shí)分類
　　概化知識(shí)
　　概化知識(shí)指類別特征的概括性描述知識(shí)。根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識(shí)，反映同類事物共同性質(zhì)，是對(duì)數(shù)據(jù)的概括、精煉和抽象。
　　概化知識(shí)的發(fā)現(xiàn)方法和實(shí)現(xiàn)技術(shù)有很多，如數(shù)據(jù)立方體、面向?qū)傩缘臍w約等。數(shù)據(jù)立方體還有其他一些別名，如“多維數(shù)據(jù)庫”、“實(shí)現(xiàn)視圖”、“OLAP"等。該方法的基本思想是實(shí)現(xiàn)某些常用的代價(jià)較高的聚集函數(shù)的計(jì)算，諸如計(jì)數(shù)、求和、平均、最大值等，并將這些實(shí)現(xiàn)視圖儲(chǔ)存在多維數(shù)據(jù)庫中。既然很多聚集函數(shù)需經(jīng)常重復(fù)計(jì)算，那么在多維數(shù)據(jù)立方體中存放預(yù)先計(jì)算好的結(jié)果將能保證快速響應(yīng)，并可靈活地提供不同角度和不同抽象層次上的數(shù)據(jù)視圖。另一種概化知識(shí)發(fā)現(xiàn)方法是加拿大SimonFraser大學(xué)提出的面向?qū)傩缘臍w約方法。這種方法以類SQL語言表示數(shù)據(jù)挖掘查詢，收集數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)集，然后在相關(guān)數(shù)據(jù)集上應(yīng)用一系列數(shù)據(jù)推廣技術(shù)進(jìn)行數(shù)據(jù)推廣，包括屬性刪除、概念樹提升、屬性閾值控制、計(jì)數(shù)及其他聚集函數(shù)傳播等。
　　關(guān)聯(lián)知識(shí)(Association）
　　它反映一個(gè)事件和其他事件之間依賴或關(guān)聯(lián)的知識(shí)。如果兩項(xiàng)或多項(xiàng)屬性之間存在關(guān)聯(lián)，那么其中一項(xiàng)的屬性值就可以依據(jù)其他屬性值進(jìn)行預(yù)測。最為著名的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)方法是R.Agrawal提出的Apriori算法。關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)可分為兩步。第一步是迭代識(shí)別所有的頻繁項(xiàng)目集，要求頻繁項(xiàng)目集的支持率不低于用戶設(shè)定的最低值；
第二步是從頻繁項(xiàng)目集中構(gòu)造可信度不低于用戶設(shè)定的最低值的規(guī)則。識(shí)別或發(fā)現(xiàn)所有頻繁項(xiàng)目集是關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法的核心，也是計(jì)算量最大的部分。
　　分類和聚類知識(shí)(Classification＆
　　它反映同類事物共同性質(zhì)的特征型知識(shí)和不同事物之間的差異型特征知識(shí)。最為典型的分類方法是基于決策樹的分類方法。它是從實(shí)例集中構(gòu)造決策樹，是一種有指導(dǎo)的學(xué)習(xí)方法。該方法先根據(jù)訓(xùn)練子集（又稱為窗口）形成決策樹。如果該樹不能對(duì)所有對(duì)象給出正確的分類，那么選擇一些例外加入到窗口中，重復(fù)該過程一直到形成正確的決策集。最終結(jié)果是一棵樹，其葉結(jié)點(diǎn)是類名，中間結(jié)點(diǎn)是帶有分枝的屬性，該分枝對(duì)應(yīng)該屬性的某一可能值。最為典型的決策樹學(xué)習(xí)系統(tǒng)是ID3，它采用自頂向下不回溯策略，能保證找到一個(gè)簡單的樹。算法C4.5和C5.0都是ID3的擴(kuò)展，它們將分類領(lǐng)域從類別屬性擴(kuò)展到數(shù)值型屬性。
　　數(shù)據(jù)分類還有統(tǒng)計(jì)、粗糙集（RoughSet）等方法。線性回歸和線性辨別分析是典型的統(tǒng)計(jì)模型。為降低決策樹生成代價(jià)，人們還提出了一種區(qū)間分類器。最近也有人研究使用神經(jīng)網(wǎng)絡(luò)方法在數(shù)據(jù)庫中進(jìn)行分類和規(guī)則提取，其中的代表就是向后傳播分類。
　　預(yù)測型知識(shí)（Prediction）
　　它根據(jù)時(shí)間序列型數(shù)據(jù)，由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù)，也可以認(rèn)為是以時(shí)間為關(guān)鍵屬性的關(guān)聯(lián)知識(shí)。
　　目前，時(shí)間序列預(yù)測方法有經(jīng)典的統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等。1968年Box和Jenkins提出了一套比較完善的時(shí)間序列建模理論和分析方法，這些經(jīng)典的數(shù)學(xué)方法通過建立隨機(jī)模型，如自回歸模型、自回歸滑動(dòng)平均模型、求和自回歸滑動(dòng)平均模型和季節(jié)調(diào)整模型等，進(jìn)行時(shí)間序列的預(yù)測。由于大量的時(shí)間序列是非平穩(wěn)的，其特征參數(shù)和數(shù)據(jù)分布隨著時(shí)間的推移而發(fā)生變化。因此，僅僅通過對(duì)某段歷史數(shù)據(jù)的訓(xùn)練，建立單一的神經(jīng)
　　網(wǎng)絡(luò)預(yù)測模型，還無法完成準(zhǔn)確的預(yù)測任務(wù)。為此，人們提出了基于統(tǒng)計(jì)學(xué)和基于精確性的再訓(xùn)練方法，當(dāng)發(fā)現(xiàn)現(xiàn)存預(yù)測模型不再適用于當(dāng)前數(shù)據(jù)時(shí)，對(duì)模型重新訓(xùn)練，獲得新的權(quán)重參數(shù)，建立新的模型。也有許多系統(tǒng)借助并行算法的計(jì)算優(yōu)勢進(jìn)行時(shí)間序列預(yù)測。
　　偏差型知識(shí)
　　此外，還可以發(fā)現(xiàn)其他類型的知識(shí)，如偏差型知識(shí)(Deviation)，它是對(duì)差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象，如標(biāo)準(zhǔn)類外的特例，數(shù)據(jù)聚類外的離群值等。
　　所有這些知識(shí)都可以在不同的概念層次上被發(fā)現(xiàn)，并隨著概念層次的提升，從微觀到中觀、到宏觀，以滿足不同用戶不同層次決策的需要。
　　數(shù)據(jù)挖掘的常用技術(shù)
　　人工神經(jīng)網(wǎng)絡(luò)
　　仿照生理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的非線形預(yù)測模型，通過學(xué)習(xí)進(jìn)行模式識(shí)別。粗略的說，神經(jīng)網(wǎng)絡(luò)是一組連接的神經(jīng)單元，其中每個(gè)連接都與一個(gè)權(quán)相聯(lián)。在學(xué)習(xí)階段，通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)，使得能夠預(yù)測輸入樣本的正確類標(biāo)號(hào)來學(xué)習(xí)。由于單元之間的連接，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)又稱連接者學(xué)習(xí)。它的優(yōu)點(diǎn)包括對(duì)噪聲數(shù)據(jù)的高承受力，以及它對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)分類模型的能力。
　　判定樹
　　“什么是判定樹？”判定樹(decision tree)是一個(gè)類似于流程圖的樹結(jié)構(gòu)。它和算法與數(shù)據(jù)結(jié)構(gòu)中的二叉判定樹的概念很類似。其中每個(gè)內(nèi)部節(jié)點(diǎn)表示在一個(gè)屬性上的測試，每個(gè)分枝代表一個(gè)測試輸出，而每個(gè)樹葉節(jié)點(diǎn)代表類或類分布。樹的最頂層界定就是根節(jié)點(diǎn)。
　　遺傳算法
　　基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。根據(jù)適者生存的原則，形成由當(dāng)前群體中最合適的規(guī)則組成新的群體，以及這些規(guī)則的后代。典型情況下，規(guī)則的適合度(fitness)用它對(duì)訓(xùn)練樣本集的分類準(zhǔn)確率評(píng)估。后代通過使用諸如交叉和變異等遺傳操作來創(chuàng)建。
　　最近鄰算法
　　將數(shù)據(jù)集合中每一個(gè)記錄進(jìn)行分類的方法。最臨近分類是基于要求的或懶散的學(xué)習(xí)法，即它存放所有的訓(xùn)練樣本，并且直到新的（未標(biāo)記的）樣本需要分類時(shí)才建立分類。它也可用于預(yù)測，即返回給定的位置樣本的實(shí)數(shù)值預(yù)測。
　　算法
　　它是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法。算法的名字基于這樣的事實(shí)：算法使用頻繁項(xiàng)集性質(zhì)的先驗(yàn)知識(shí)。它用一種稱作逐層搜索的迭代方法，k-項(xiàng)集用于探索(k+1)-項(xiàng)集。首先找出頻繁1-項(xiàng)集的集合。然后利用前者找出2-項(xiàng)集的集合，如此迭代，直到不能找出頻繁k-項(xiàng)集。最后由頻繁項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則。
　　頻繁模式增長(FP-增長
　　和上面的方法相比，它是一種不產(chǎn)生候選的挖掘頻繁項(xiàng)集的方法。它構(gòu)造一個(gè)高度壓縮的數(shù)據(jù)結(jié)構(gòu)(FP-增長)，壓縮原來的事物數(shù)據(jù)庫。它聚焦于頻繁模式增長，避免了高代價(jià)的候選產(chǎn)生，獲得更好的效率。
　　采用上述技術(shù)的某些專門的分析工具已經(jīng)發(fā)展了大約十年的歷史，不過這些工具所面對(duì)的數(shù)據(jù)量通常較小。而現(xiàn)在這些技術(shù)已經(jīng)被直接集成到許多大型的工業(yè)標(biāo)準(zhǔn)的數(shù)據(jù)倉庫和聯(lián)機(jī)分析系統(tǒng)中去了。
　　數(shù)據(jù)挖掘的功能
　　數(shù)據(jù)挖掘通過預(yù)測未來趨勢及行為，做出前攝的、基于知識(shí)的決策。數(shù)據(jù)挖掘的目標(biāo)是從數(shù)據(jù)庫中發(fā)現(xiàn)隱含的、有意義的知識(shí)，主要有以下五類功能。
　　自動(dòng)預(yù)測趨勢和行為
　　數(shù)據(jù)挖掘自動(dòng)在大型數(shù)據(jù)庫中尋找預(yù)測性信息，以往需要進(jìn)行大量手工分析的問題如今可以迅速直接由數(shù)據(jù)本身得出結(jié)論。一個(gè)典型的例子是市場預(yù)測問題，數(shù)據(jù)挖掘使用過去有關(guān)促銷的數(shù)據(jù)來尋找未來投資中回報(bào)最大的用戶，其它可預(yù)測的問題包括預(yù)報(bào)破產(chǎn)以及認(rèn)定對(duì)指定事件最可能作出反應(yīng)的群體。
　　關(guān)聯(lián)分析
　　數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)
　　聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有置信度和支持度。
　　相關(guān)性分析
　　數(shù)據(jù)中許多屬性可能與分類和預(yù)測任務(wù)不相關(guān)。例如：記錄銀行貸款申請(qǐng)是星期幾提出的數(shù)據(jù)可能與申請(qǐng)的成功不相關(guān)。此外，其他的屬性可能是冗余的。因此，可以進(jìn)行相關(guān)性分析，刪除學(xué)習(xí)過程中不相關(guān)的或冗余的屬性。在機(jī)器學(xué)習(xí)中，這一過程稱為特征選擇。
　　聚類分析
　　數(shù)據(jù)庫中的記錄可被化分為一系列有意義的子集，即聚類。聚類增強(qiáng)了人們對(duì)客觀現(xiàn)實(shí)的認(rèn)識(shí)，是概念描述和偏差分析的先決條件。聚類技術(shù)主要包括了劃分方法，層次的方法，基于密度的方法和基于模型的方法。還有一些聚類算法繼承了多種聚類方法的思想。
　　概念描述
　　概念描述就是對(duì)某類對(duì)象的內(nèi)涵進(jìn)行描述，并概括這類對(duì)象的有關(guān)特征。概念描述分為特征性描述和區(qū)別性描述，前者描述某類對(duì)象的共同特征，后者描述不同類對(duì)象之間的區(qū)別。生成一個(gè)類的特征性描述只涉及該類對(duì)象中所有對(duì)象的共性，它將大的任務(wù)相關(guān)的數(shù)據(jù)集從較低的概念層抽象到較高的概念層。大的數(shù)據(jù)集有效的，靈活的概化方法可以分成兩類：1：數(shù)據(jù)立方體（或OLAP）方法，和2：面向?qū)傩缘臍w納方法。生成區(qū)別性描述的方法很多，如判定樹方法、遺傳算法等。
　　偏差檢測
　　數(shù)據(jù)庫中的數(shù)據(jù)常有一些異常記錄，從數(shù)據(jù)庫中檢測這些偏差很有意義。偏差包括很多潛在的知識(shí)，如分類中的反常實(shí)例、不滿足規(guī)則的特例、觀測結(jié)果與模型預(yù)測值的偏差、量值隨時(shí)間的變化等。偏差檢測的基本方法是，尋找觀測結(jié)果與參照值之間有意義的差別。

相關(guān)推薦: