基于ERP系統(tǒng)的數(shù)據挖掘應用研究

2013-12-16 10:54:12 電力信息化　點擊量：評論 (0)

引言隨著全球經濟環(huán)境的進一步改變，企業(yè)的競爭壓力也越來越大，而ERP（企業(yè)資源計劃）體現(xiàn)了當今世界上最先進的企業(yè)管理理論，并提供了企業(yè)信息化集成的最佳方案，因此已經成為眾多企業(yè)追求管理革新與信息化建設

引言

隨著全球經濟環(huán)境的進一步改變，企業(yè)的競爭壓力也越來越大，而ERP（企業(yè)資源計劃）體現(xiàn)了當今世界上最先進的企業(yè)管理理論，并提供了企業(yè)信息化集成的最佳方案，因此已經成為眾多企業(yè)追求管理革新與信息化建設的必然選擇。一方面，隨著ERP系統(tǒng)的普及與廣泛應用，必然會形成越來越多的數(shù)據，如何從大量的甚至海量的數(shù)據中提取有用的知識以支持管理決策，已經成為越來越重要的問題；另一方面，數(shù)據挖掘技術利用數(shù)據庫系統(tǒng)、統(tǒng)計學、機器學習、可視化和信息科學等多學科技術，研究從大量數(shù)據中如何提取或“挖掘”知識，也逐漸從理論研究發(fā)展到了實際應用。因此，將數(shù)據挖掘應用于ERP系統(tǒng)，分析利用ERP所形成的數(shù)據，從而形成幫助決策的知識，逐漸引起了研究者與企業(yè)的重視。

然而，由于數(shù)據挖掘源于多個學科，因此產生了大量的、各種不同類型的數(shù)據挖掘系統(tǒng)，盡管有普通的、全能的數(shù)據挖掘系統(tǒng)與通用的數(shù)據挖掘算法，但通用系統(tǒng)并不適合特定領域的挖掘任務，因此需要針對特定應用的數(shù)據挖掘進行分析研究。

文中主要介紹ERP與數(shù)據挖掘的基本概念與發(fā)展，還分析了基于ERP的數(shù)據挖掘應用所面對的問題，討論數(shù)據挖掘在ERP中的兩個應用框架的構建。最后，比較并分析了兩個應用框架的特點與優(yōu)缺點。

l 概念與定義

1.1 ERP的概念與發(fā)展

ERP的概念于20世紀90年代由美國Garter Group Inc咨詢公司首先提出，其理論與系統(tǒng)從MRPⅡ發(fā)展而來，極大地擴展了業(yè)務管理的范圍及深度，管理范圍涉及到企業(yè)的所有供需過程。概括地說，ERP有如下定義：

定義：ERP是建立在信息技術的基礎上，利用現(xiàn)代企業(yè)的先進管理思想，全面地集成了企業(yè)的所有資源信息，并為企業(yè)提供決策、計劃、控制與經營業(yè)績評估的全方位和系統(tǒng)化的管理平臺。

ERP不僅僅是信息系統(tǒng)，更重要的是一種管理理論與管理思想，它代表了當前在全球范圍內應用最廣泛、最有效的一種企業(yè)管理方法，這種管理方法已經通過計算機軟件得到了體現(xiàn)。

ERP的核心管理思想就是實現(xiàn)對整個供應鏈的有效管理，包括物流、資金流與信息流?；贓RP理論的信息系統(tǒng)主要包括生產計劃管理、質量管理、設備管理、采購管理、庫存管理、銷售管理、客戶關系管理、成本管理、財務管理幾個模塊。

隨著ERP應用的深入發(fā)展，ERP的應用范圍逐漸擴大，并不再限于制造業(yè)，已應用到金融業(yè)、高科技產業(yè)、郵電與通信業(yè)、能源行業(yè)（電力、石油與天然氣、煤炭業(yè)等）、公共事業(yè)、商業(yè)與零售業(yè)、外貿行業(yè)、新聞出版業(yè)、咨詢服務業(yè)，甚至于醫(yī)療保健業(yè)和賓館酒店等行業(yè)，因此，美國生產庫存學會（American Production and Inventory Control Society，APICS）在2002年出版的《AFICS字典》（第10版）中對ERP系統(tǒng)的定義擴展為：一種在制造、分銷或服務業(yè)公司中有效地計劃和控制為接收、制造、發(fā)運和解決客戶訂單問題所需的所有資源的方法。

從ERP的理論與實際應用可以看到，為企業(yè)提供決策足ERP的重要目的與功能之一。

1.2 數(shù)據挖掘概述

隨著信息技術的發(fā)展，人們積累了越來越多的數(shù)據，從大量的數(shù)據中獲得有價值的知識也越來越成為迫切的需求。因此，自20世紀90年代初以來，數(shù)據挖掘或知識發(fā)現(xiàn)也越來越受到人們的重視。廣義的數(shù)據挖掘等同于知識發(fā)現(xiàn)，而狹義的數(shù)據挖掘專指知識發(fā)現(xiàn)的一個基本步驟。作為知識發(fā)現(xiàn)的一個步驟，數(shù)據挖掘有以下定義：

定義2：數(shù)據挖掘就是從大量的數(shù)據中挖掘出有用的信息，即從大量的、不完全的、有噪音的、模糊的、隨機的實際應用數(shù)據中發(fā)現(xiàn)隱含的、規(guī)律性的，人們事先未知的，但又是潛在有用的并且最終可理解的信息和知識的非平凡過程。

與傳統(tǒng)的數(shù)據分析手段（如查詢報表）相比，數(shù)據挖掘有以下幾個特點：首先，數(shù)據挖掘處理的是大量或海量的數(shù)據；其次，數(shù)據挖掘的目的是發(fā)現(xiàn)隱含的、事先未知的知識；再次，數(shù)據挖掘更傾向于把任務交給程序自動完成，也是人工智能的一種應用；最后，數(shù)據挖掘是一個交叉學科，是高級的數(shù)據分析手段。

數(shù)據挖掘使用各種不同的算法來完成不同的任務。數(shù)據挖掘的任務一般可以分為兩類BJ：描述和預測。描述性數(shù)據挖掘任務刻畫數(shù)據庫中數(shù)據的一般特性。預測性挖掘任務在當前數(shù)據上進行推斷，以進行預測。最基本也是最重要的數(shù)據挖掘任務為：

1）關聯(lián)：關聯(lián)分析發(fā)現(xiàn)關聯(lián)規(guī)則，這些規(guī)則展示了屬性與屬性之間的關系；

2）聚類：產生分組標記，根據最大化類內相似性、最小化類間相似性原則將數(shù)據分成不同的簇；

3）分類／預測：找出描述并區(qū)分數(shù)據類或概念的模型，以便能使用模型預測類標記未知的對象類。數(shù)據挖掘還有序列發(fā)現(xiàn)、相關分析、孤立點分析等多種任務。

目前，數(shù)據挖掘作為知識發(fā)現(xiàn)的重要步驟與商業(yè)智能（BI）的核心功能，已經應用于金融、電信、體育分析、銷售等多個領域，但制造業(yè)應用并不廣泛。

2 數(shù)據挖掘在ERP中的應用框架

2.1 應用問題描述與分析

ERP系統(tǒng)涉及整個供應鏈的管理，會產生大量的數(shù)據，其重要目的之一是提供決策支持，因此，分析利用ERP系統(tǒng)積累的數(shù)據，提高決策能力，越來越受到人們的重視。傳統(tǒng)的方法是提供報表功能，但報表功能處理海量數(shù)據力不從心，也無法更智能地發(fā)現(xiàn)隱含的知識，因此，ERP系統(tǒng)越來越需要數(shù)據挖掘的應用。但是，由于ERP最主要的應用行業(yè)——制造業(yè)類型復雜，各個生產管理環(huán)節(jié)形成的數(shù)據種類繁多，設計通用的數(shù)據挖掘算法覆蓋所有的生產問題和所有的管理環(huán)節(jié)是十分困難的。事實上，由于ERP積累的數(shù)據有著行業(yè)獨特的相關性，通用的數(shù)據挖掘算法是無效的，加之企業(yè)對數(shù)據挖掘這種新技術實施風險的考慮，因此，盡管大型的ERP系統(tǒng)包含數(shù)據挖掘的商業(yè)智能模塊，但總體上來看，數(shù)據挖掘在ERP中的應用并不廣泛。

2.2 基于數(shù)據倉庫的應用框架

根據ERP系統(tǒng)的特點，結合典型的數(shù)據挖掘系統(tǒng)結構，一種基于數(shù)據倉庫的ERP系統(tǒng)數(shù)據挖掘應用框架如圖1所示，標記為應用框架1。

ERP業(yè)務數(shù)據庫屬于數(shù)據庫技術中的操作型數(shù)據庫，主要處理聯(lián)機事務，關注多事務處理、數(shù)據的一致性與完整性等，重點不在于大數(shù)據量的查詢與分析。而數(shù)據倉庫是分析型數(shù)據庫，是一種數(shù)據的長期存儲，數(shù)據經過組織在一致的模式下存放，通常是歷史數(shù)據的匯總，目的是為了支持決策。數(shù)據倉庫的數(shù)據組織、存取方法以及支持的主要功能等都是針對歷史數(shù)據的查詢與分析而設計，因此數(shù)據倉庫能更好地支持數(shù)據挖掘。

圖1所示的應用框架描述如下：

a）數(shù)據處理模塊：將ERP業(yè)務數(shù)據庫的數(shù)據經過提取、轉換與加載等，轉換為符合數(shù)據倉庫要求的數(shù)據。

b）數(shù)據挖掘引擎：用于執(zhí)行數(shù)據挖掘任務，包括關聯(lián)規(guī)則、聚類、分類等。

c）知識庫：領域知識，用于指導數(shù)據挖掘執(zhí)行，也用于評估數(shù)據挖掘的結果模式。

d）模式評估：該模塊與數(shù)據挖掘引擎交互，也與用戶交互，并根據知識庫的相關知識，評估數(shù)據挖掘結果的興趣度，過濾發(fā)現(xiàn)的模式。

基于數(shù)據倉庫的數(shù)據挖掘應用框架的特點是：數(shù)據挖掘過程與ERP業(yè)務過程分離，挖掘過程不影響實時操作，但分析對象也不是實時數(shù)據。

2.3 基于ERP業(yè)務數(shù)據庫的應用框架

盡管數(shù)據倉庫技術對數(shù)據挖掘有著重要作用，但是數(shù)據挖掘不限于僅分析數(shù)據倉庫中的匯總數(shù)據，它可以分析現(xiàn)存于ERP系統(tǒng)中的更細化的業(yè)務數(shù)據，因此，基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用框架如圖2所示，標記為應用框架2。在這一框架中，數(shù)據挖掘不再是建立在數(shù)據倉庫上的獨立系統(tǒng)，而是作為ERP系統(tǒng)的一個高級模塊存在，它一方面是對數(shù)據挖掘分析對象的擴展，另一方面也是日益重要的在線實時數(shù)據分析的要求。

圖2 基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用框架

在圖2所示的應用框架中，ERP數(shù)據挖掘模塊直接處理分析業(yè)務數(shù)據，同樣基于知識庫進行模式評估，并與用戶交互。必要的數(shù)據預處理功能作為數(shù)據挖掘模塊內部功能存在，直接提取處理ERP操作數(shù)據庫。事實上，大型的數(shù)據庫系統(tǒng)也越來越向提供智能分析與數(shù)據挖掘功能的方向發(fā)展，因此，在不建立數(shù)據倉庫的情況下，利用數(shù)據挖掘技術直接對ERP業(yè)務數(shù)據進行一定程度的分析也是可行的。

2.4 比較與分析

基于ERP的數(shù)據倉庫的建立，是應用框架1中的核心內容，也是傳統(tǒng)的數(shù)據挖掘應用模式在ERP系統(tǒng)中的應用，即先建立數(shù)據倉庫，再進行數(shù)據挖掘。這種模式將ERP系統(tǒng)與數(shù)據倉庫系統(tǒng)結合，既發(fā)揮了ERP系統(tǒng)處理事務的能力，又發(fā)揮了數(shù)據倉庫之上的數(shù)據挖掘技術的決策支持作用。但根據ERP系統(tǒng)的特點，ERP業(yè)務數(shù)據庫中的數(shù)據已經相對集中與規(guī)范，在企業(yè)沒有建立數(shù)據倉庫時，ERP系統(tǒng)同樣需要有效的數(shù)據分析與決策支持，因此，基于ERP業(yè)務數(shù)據的數(shù)據挖掘應用框架也同樣具有重要意義。

兩個應用框架的優(yōu)缺點比較分析如下：

（1）應用框架1：基于數(shù)據倉庫的數(shù)據挖掘應用

應用框架1的主要優(yōu)點：

a）操作型數(shù)據庫與分析型數(shù)據庫分離，使操作事務與分析任務互不干擾，能夠保證數(shù)據挖掘進行大量數(shù)據查詢時不影響業(yè)務操作性能；

b）數(shù)據倉庫根據分析需要組織數(shù)據結構、內容與功能等，使數(shù)據挖掘更專注有效；

c）數(shù)據倉庫可以整合不同數(shù)據源數(shù)據，使數(shù)據挖掘不僅局限于ERP系統(tǒng)，方便擴充。

應用框架1的主要缺點：

a）需要建立數(shù)據倉庫，需要進行數(shù)據清理和數(shù)據集成，會增加數(shù)據挖掘應用的風險與成本；

b）數(shù)據倉庫存儲歷史數(shù)據，與最新數(shù)據存在差異，因此分析結果有時間延遲。

（2）應用框架2：基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用

應用框架2的主要優(yōu)點：

a）利用ERP系統(tǒng)數(shù)據庫，不建立單獨數(shù)據倉庫，成本低；

b）基于業(yè)務數(shù)據的分析具有實時性，分析結果時問延遲小；

c）數(shù)據挖掘作為ERP模塊，與ERP結合緊密，可以及時根據分析結果調整ERP業(yè)務，優(yōu)化ERP流程與業(yè)務。

應用框架2的主要缺點：

a）與ERP使用同一數(shù)據庫，復雜的分析與查詢會影響業(yè)務操作性能；

b）數(shù)據挖掘需要考慮數(shù)據預處理，挖掘算法計算代價大；

c）可擴充性相對低，局限于僅對ERP數(shù)據的分析。進一步比較兩個應用框架的特點，如表l所示。

圖2 基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用框架

在圖2所示的應用框架中，ERP數(shù)據挖掘模塊直接處理分析業(yè)務數(shù)據，同樣基于知識庫進行模式評估，并與用戶交互。必要的數(shù)據預處理功能作為數(shù)據挖掘模塊內部功能存在，直接提取處理ERP操作數(shù)據庫。事實上，大型的數(shù)據庫系統(tǒng)也越來越向提供智能分析與數(shù)據挖掘功能的方向發(fā)展，因此，在不建立數(shù)據倉庫的情況下，利用數(shù)據挖掘技術直接對ERP業(yè)務數(shù)據進行一定程度的分析也是可行的。

2.4 比較與分析

基于ERP的數(shù)據倉庫的建立，是應用框架1中的核心內容，也是傳統(tǒng)的數(shù)據挖掘應用模式在ERP系統(tǒng)中的應用，即先建立數(shù)據倉庫，再進行數(shù)據挖掘。這種模式將ERP系統(tǒng)與數(shù)據倉庫系統(tǒng)結合，既發(fā)揮了ERP系統(tǒng)處理事務的能力，又發(fā)揮了數(shù)據倉庫之上的數(shù)據挖掘技術的決策支持作用。但根據ERP系統(tǒng)的特點，ERP業(yè)務數(shù)據庫中的數(shù)據已經相對集中與規(guī)范，在企業(yè)沒有建立數(shù)據倉庫時，ERP系統(tǒng)同樣需要有效的數(shù)據分析與決策支持，因此，基于ERP業(yè)務數(shù)據的數(shù)據挖掘應用框架也同樣具有重要意義。

兩個應用框架的優(yōu)缺點比較分析如下：

（1）應用框架1：基于數(shù)據倉庫的數(shù)據挖掘應用

應用框架1的主要優(yōu)點：

a）操作型數(shù)據庫與分析型數(shù)據庫分離，使操作事務與分析任務互不干擾，能夠保證數(shù)據挖掘進行大量數(shù)據查詢時不影響業(yè)務操作性能；

b）數(shù)據倉庫根據分析需要組織數(shù)據結構、內容與功能等，使數(shù)據挖掘更專注有效；

c）數(shù)據倉庫可以整合不同數(shù)據源數(shù)據，使數(shù)據挖掘不僅局限于ERP系統(tǒng)，方便擴充。

應用框架1的主要缺點：

a）需要建立數(shù)據倉庫，需要進行數(shù)據清理和數(shù)據集成，會增加數(shù)據挖掘應用的風險與成本；

b）數(shù)據倉庫存儲歷史數(shù)據，與最新數(shù)據存在差異，因此分析結果有時間延遲。

（2）應用框架2：基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用

應用框架2的主要優(yōu)點：

a）利用ERP系統(tǒng)數(shù)據庫，不建立單獨數(shù)據倉庫，成本低；

b）基于業(yè)務數(shù)據的分析具有實時性，分析結果時問延遲??；

c）數(shù)據挖掘作為ERP模塊，與ERP結合緊密，可以及時根據分析結果調整ERP業(yè)務，優(yōu)化ERP流程與業(yè)務。

應用框架2的主要缺點：

a）與ERP使用同一數(shù)據庫，復雜的分析與查詢會影響業(yè)務操作性能；

b）數(shù)據挖掘需要考慮數(shù)據預處理，挖掘算法計算代價大；

c）可擴充性相對低，局限于僅對ERP數(shù)據的分析。進一步比較兩個應用框架的特點，如表l所示。

圖2 基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用框架

在圖2所示的應用框架中，ERP數(shù)據挖掘模塊直接處理分析業(yè)務數(shù)據，同樣基于知識庫進行模式評估，并與用戶交互。必要的數(shù)據預處理功能作為數(shù)據挖掘模塊內部功能存在，直接提取處理ERP操作數(shù)據庫。事實上，大型的數(shù)據庫系統(tǒng)也越來越向提供智能分析與數(shù)據挖掘功能的方向發(fā)展，因此，在不建立數(shù)據倉庫的情況下，利用數(shù)據挖掘技術直接對ERP業(yè)務數(shù)據進行一定程度的分析也是可行的。

2.4 比較與分析

基于ERP的數(shù)據倉庫的建立，是應用框架1中的核心內容，也是傳統(tǒng)的數(shù)據挖掘應用模式在ERP系統(tǒng)中的應用，即先建立數(shù)據倉庫，再進行數(shù)據挖掘。這種模式將ERP系統(tǒng)與數(shù)據倉庫系統(tǒng)結合，既發(fā)揮了ERP系統(tǒng)處理事務的能力，又發(fā)揮了數(shù)據倉庫之上的數(shù)據挖掘技術的決策支持作用。但根據ERP系統(tǒng)的特點，ERP業(yè)務數(shù)據庫中的數(shù)據已經相對集中與規(guī)范，在企業(yè)沒有建立數(shù)據倉庫時，ERP系統(tǒng)同樣需要有效的數(shù)據分析與決策支持，因此，基于ERP業(yè)務數(shù)據的數(shù)據挖掘應用框架也同樣具有重要意義。

兩個應用框架的優(yōu)缺點比較分析如下：

（1）應用框架1：基于數(shù)據倉庫的數(shù)據挖掘應用

應用框架1的主要優(yōu)點：

a）操作型數(shù)據庫與分析型數(shù)據庫分離，使操作事務與分析任務互不干擾，能夠保證數(shù)據挖掘進行大量數(shù)據查詢時不影響業(yè)務操作性能；

b）數(shù)據倉庫根據分析需要組織數(shù)據結構、內容與功能等，使數(shù)據挖掘更專注有效；

c）數(shù)據倉庫可以整合不同數(shù)據源數(shù)據，使數(shù)據挖掘不僅局限于ERP系統(tǒng)，方便擴充。

應用框架1的主要缺點：

a）需要建立數(shù)據倉庫，需要進行數(shù)據清理和數(shù)據集成，會增加數(shù)據挖掘應用的風險與成本；

b）數(shù)據倉庫存儲歷史數(shù)據，與最新數(shù)據存在差異，因此分析結果有時間延遲。

（2）應用框架2：基于ERP業(yè)務數(shù)據庫的數(shù)據挖掘應用

應用框架2的主要優(yōu)點：

a）利用ERP系統(tǒng)數(shù)據庫，不建立單獨數(shù)據倉庫，成本低；

b）基于業(yè)務數(shù)據的分析具有實時性，分析結果時問延遲小；

c）數(shù)據挖掘作為ERP模塊，與ERP結合緊密，可以及時根據分析結果調整ERP業(yè)務，優(yōu)化ERP流程與業(yè)務。

應用框架2的主要缺點：

a）與ERP使用同一數(shù)據庫，復雜的分析與查詢會影響業(yè)務操作性能；

b）數(shù)據挖掘需要考慮數(shù)據預處理，挖掘算法計算代價大；

c）可擴充性相對低，局限于僅對ERP數(shù)據的分析。進一步比較兩個應用框架的特點，如表l所示。

由以上分析可以得出：基于數(shù)據倉庫的應用框架，適合于信息化應用較成熟的大中型企業(yè)，通過建立面向主題的、集成的、時變的與非易失的數(shù)據倉庫，通過數(shù)據清理與數(shù)據集成，能夠充分進行數(shù)據挖掘與分析，為企業(yè)提供有效、全面的決策支持?；贓RP業(yè)務數(shù)據庫的數(shù)據挖掘應用框架，適合于不具備建立成熟數(shù)據倉庫，但又需要進行數(shù)據挖掘應用的中小型企業(yè)，盡管不能全面支持與實現(xiàn)數(shù)據挖掘各種算法，但在有限條件下可實現(xiàn)性高，靈活性大，也具有較高的應用價值。隨著數(shù)據庫與中間件技術的發(fā)展，基于操作型數(shù)據庫的數(shù)據挖掘與分析也必將進一步發(fā)展。

3 結束語

本文在介紹ERP與數(shù)據挖掘概念與定義的基礎上，描述了兩個數(shù)據挖掘在ERP中的應用框架：基于數(shù)據倉庫的應用框架與基于ERP業(yè)務數(shù)據庫的應用框架。從兩個應用框架出發(fā)，分析了它們的優(yōu)缺點，并且從數(shù)據對象、及時性、有效性等多個方面，比較了兩個框架的特點。數(shù)據挖掘技術作為數(shù)據分析與決策支持實現(xiàn)的高級技術，必將成為ERP應用的一個重要內容，隨著ERP系統(tǒng)與數(shù)據挖掘技術的進一步發(fā)展，在ERP系統(tǒng)中的數(shù)據挖掘應用必將為企業(yè)提供更快、更有效的決策支持服務，也必將給企業(yè)帶來巨大的經濟效益。