對于鐵路物資應用大數(shù)據(jù)管理解決方案的研究論文
鐵路物資應用大數(shù)據(jù)管理系統(tǒng)首先構建物資專業(yè)數(shù)據(jù)庫,需要補充和完善需要的數(shù)據(jù)項,構建物資專業(yè)全量數(shù)據(jù)體系,例如增加重要物資的生產(chǎn)日期,技術證件(復印件或圖片),驗收記錄,復檢復驗業(yè)務數(shù)據(jù),質量問題圖片數(shù)據(jù),供應商的生產(chǎn)許可數(shù)據(jù)、生產(chǎn)資質(圖片)等數(shù)據(jù);其次完善物資管理職能,豐富和增加基礎數(shù)據(jù)源,例如修舊利廢管理,廢舊物資管理等,在提高對廢、舊物資管理的同時,完善物資管理數(shù)據(jù)源;系統(tǒng)通過歸集處理,完成對物資專業(yè)產(chǎn)生的數(shù)據(jù)、與物資有關的其他數(shù)據(jù)、來自互聯(lián)網(wǎng)上的相關數(shù)據(jù),還包括手工編輯導入的數(shù)據(jù)等集中處理,將這些數(shù)據(jù)(結構化、非結構化)歸集到大平臺數(shù)據(jù)庫中,形成數(shù)據(jù)源;數(shù)據(jù)存儲和處理,采用大數(shù)據(jù)技術對歸集的數(shù)據(jù)源進行清洗、轉換并存入不同的數(shù)據(jù)庫,并進行匯總、挖掘處理,形成對外統(tǒng)一的大數(shù)據(jù)接口;數(shù)據(jù)查詢、分析和預測系統(tǒng)對處理后的大數(shù)據(jù)根據(jù)業(yè)務需求進行各種統(tǒng)計、查詢和預測,達到讓數(shù)據(jù)張口,靠數(shù)據(jù)說話,減少因缺少數(shù)據(jù)支撐而帶來的偏差,降低決策風險。
1 物資管理數(shù)據(jù)體系
在物資管理信息系統(tǒng)中,增加物資的生產(chǎn)日期、入庫驗收信息,相關技術證件、復檢復驗數(shù)據(jù)等;在物資質量問題反饋管理中增加質量問題圖片;增加物資屬性圖片及供應商的詳細信息(如生產(chǎn)規(guī)模、信譽等級、資質、生產(chǎn)許可和認證等),建立物資專業(yè)基本信息庫,形成物資管理全量數(shù)據(jù)體。
1.1 完善物資管理職能
增加修舊利費管理子系統(tǒng),對卸下的配件經(jīng)過維修再利用,提高物資的使用率;增加廢舊物資管理子系統(tǒng),將報廢的各類物資進行分類歸集,由物資處進行統(tǒng)一處置,清算處理,沖減成本;增加物資質量跟蹤管理子系統(tǒng),與各專業(yè)的生產(chǎn)檢修系統(tǒng)進行互聯(lián)互通,實現(xiàn)對物資采購、檢驗、使用、維修、報廢等全過程管理。
1.2 數(shù)據(jù)采集
數(shù)據(jù)采集就是從數(shù)據(jù)源收集、識別和選取數(shù)據(jù)的過程,隨著業(yè)務的進行,各類數(shù)據(jù)的累積越來越大,如何有效地收集這些數(shù)據(jù),保證采集數(shù)據(jù)的可靠性,避免重復數(shù)據(jù),保證數(shù)據(jù)的質量,是數(shù)據(jù)采集這個環(huán)節(jié)需要解決的。
數(shù)據(jù)采集分為兩個來源:數(shù)據(jù)來自應用系統(tǒng)之外,簡稱為外部采集;數(shù)據(jù)來自引用系統(tǒng)內部,簡稱為內部采集。外部采集主要來自物資經(jīng)營的專業(yè)網(wǎng)站,例如東方財富網(wǎng)等其他一些網(wǎng)站,數(shù)據(jù)包括關注物資的價格變化數(shù)據(jù),供應商的生產(chǎn)、銷售數(shù)據(jù),價格數(shù)據(jù);還包括國家統(tǒng)計部門發(fā)布的GDP、PPI和CPI等;包括總公司、路局專業(yè)處室的下一時間段的大修、更新項目計劃數(shù)據(jù),主要用來分析和預測價格走勢,下一階段的物資采購預測等。
1.3 數(shù)據(jù)挖掘
數(shù)據(jù)挖掘作為一種決策支持過程,高度自動化地分析企業(yè)的數(shù)據(jù),做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調整市場策略,減少風險,做出正確的決策。針對歸集的大量相關業(yè)務數(shù)據(jù),進行清洗、刪除和處理,保證數(shù)據(jù)的有效性和正確性,然后分析物資專業(yè)所關注各項內容(或關鍵指標)之間潛在的關系,找出影響分析結果的主、次因素,作為數(shù)據(jù)挖掘的基礎。
2 數(shù)據(jù)分析和展現(xiàn)
在大數(shù)據(jù)分析與業(yè)務協(xié)同的基礎上,利用基本分析引擎驅動的圖形信息顯示功能,建立管理儀表盤跟蹤、分析、監(jiān)控、預測關鍵指標和目標,實現(xiàn)對物資價格預測、需求和采購分析、質量跟蹤、廉政風險防控等業(yè)務決策模型的最終分析運用結果進行展現(xiàn)。
2.1 重要物資價格變化趨勢
根據(jù)每月產(chǎn)生的采購價格,形成價格的直觀圖表,同時可以關聯(lián)相關數(shù)據(jù)預測未來一段時間內的價格走勢;也可以顯示歷史(一年前過兩年前的)變化,作為比較依據(jù)。
2.2 重要物資需求預測分析
根據(jù)物資大數(shù)據(jù),可以分析預測出下年度的重要物資的需求數(shù)量,以便根據(jù)市場情況,提前做出采購預算,保證供應;分析結果可以通過報表或柱狀圖展示。
2.3 物資采購綜合分析
根據(jù)物資大數(shù)據(jù),對物資采購的各項指標進行綜合分析,包括采購周期、采購方式、物資使用方向、采購金額、供應商反饋及問題投訴,從中發(fā)現(xiàn)可能存在的廉政風險,強化陽光采購。
2.4 庫存周轉與采購周期分析
根據(jù)物資專業(yè)大數(shù)據(jù),對全局的庫存物資的周轉天數(shù)(能夠按照物資小類、物資大類等)及相對應的采購周期進行分析,查找周轉天數(shù)差異,找出問題所在,提高庫存的周轉率,杜絕庫存積壓、減少庫存資金占用;分析結果通過報表或圖形展現(xiàn)。3 技術方案總體架構。整個架構分為5層:數(shù)據(jù)源層,處于整個架構的最底層,包含物資管理系統(tǒng)及與之關聯(lián)的全部業(yè)務數(shù)據(jù):結構化、半結構化和非結構化。獲取層:數(shù)據(jù)采集(ETL),負責對源數(shù)據(jù)的采集、清洗、轉換和加載,包括:把原始數(shù)據(jù)加載到Hadoop平臺。數(shù)據(jù)層:包括主數(shù)據(jù)倉庫、分布式數(shù)據(jù)庫及Hadoop云平臺,Hadoop云平臺負責存儲海量的單據(jù)數(shù)據(jù),提供并行的計算和非結構化數(shù)據(jù)的處理能力,實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力;主數(shù)據(jù)倉庫(與MPP合設)負責存儲指標數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù);分布式數(shù)據(jù)庫(MPP)負責存儲加工、關聯(lián)、匯總后的業(yè)務數(shù)據(jù),并提供分布式計算、支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力,向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。能力層:負責向上層的應用方提供大數(shù)據(jù)平臺能力,同時提供統(tǒng)一的數(shù)據(jù)開放接口,使多方大數(shù)據(jù)應用方享用。應用層:為用戶提供大數(shù)據(jù)平臺的數(shù)據(jù)分析、查詢、挖掘等功能,實現(xiàn)對物資管理專業(yè)的需求預測、采購預期、價格走勢、物資質量跟蹤、供應商績效考核等綜合分析。
3 安全方案
基于信息安全等級保護二級要求落實安全措施的要求,結合本系統(tǒng)的具體需求,在系統(tǒng)設計時,應重點考慮應用安全、數(shù)據(jù)安全和網(wǎng)絡安全三個方面。
4.1 應用安全
應用安全是信息系統(tǒng)整體防御的最后一道防線。在應用層面運行著信息系統(tǒng)的基于網(wǎng)絡的應用以及特定業(yè)務應用。基于網(wǎng)絡的應用是形成其他應用的基礎,包括消息發(fā)送、web瀏覽等,可以說是基本的應用。業(yè)務應用采納基本應用的功能以滿足鐵路物資管理信息系統(tǒng)的要求。由于各種基本應用最終是為業(yè)務應用服務的,因此對應用系統(tǒng)的安全保護最終就是如何保護系統(tǒng)的各種業(yè)務應用程序安全運行。
4.2 數(shù)據(jù)安全
系統(tǒng)處理的各種數(shù)據(jù)(用戶數(shù)據(jù)、系統(tǒng)數(shù)據(jù)、業(yè)務數(shù)據(jù)等)在維持系統(tǒng)正常運行上起著至關重要的作用。一旦數(shù)據(jù)遭到破壞(泄漏、修改、毀壞),都會在不同程度上造成影響,從而危害到系統(tǒng)的正常運行。由于物資應用大數(shù)據(jù)管理系統(tǒng)的各個層面(網(wǎng)絡、主機、應用等)都對各類數(shù)據(jù)進行傳輸、存儲和處理等,因此,對數(shù)據(jù)的保護需要物理環(huán)境、網(wǎng)絡、數(shù)據(jù)庫和操作系統(tǒng)、應用程序等提供支持。各個“關口”把好了,數(shù)據(jù)本身再具有一些防御和修復手段,必然將對數(shù)據(jù)造成的損害降至最小。另外,數(shù)據(jù)備份也是防止數(shù)據(jù)被破壞后無法恢復的重要手段,而硬件備份等更是保證系統(tǒng)可用的重要內容。
4.3 網(wǎng)絡安全
網(wǎng)絡安全為物資應用大數(shù)據(jù)管理系統(tǒng)在網(wǎng)絡環(huán)境的安全運行提供支持。一方面,確保網(wǎng)絡設備的安全運行,提供有效的網(wǎng)絡服務,另一方面,確保在網(wǎng)上傳輸數(shù)據(jù)的保密性、完整性和可用性等。該系統(tǒng)納入鐵路總公司、鐵路局網(wǎng)絡和信息安全保障體系中。
4.4 關鍵技術
大數(shù)據(jù)并非一項新技術,其前身是商務智能BI,是一系列信息技術的集合。怎樣將數(shù)據(jù)中的價值挖掘出來,并以直觀、清晰地方式展現(xiàn)在人們面前,是大數(shù)據(jù)解決的基本問題。數(shù)據(jù)展現(xiàn)通過借助表格、圖片等手段,揭示隱藏在數(shù)據(jù)背后的模式與數(shù)據(jù)之間的關聯(lián)關系,它以簡單、友好的方式將這種關系呈現(xiàn)給用戶,可以有效地提升數(shù)據(jù)的使用效率。該系統(tǒng)包括數(shù)據(jù)采集、數(shù)據(jù)管理、計算處理、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)5個技術環(huán)節(jié)。
數(shù)據(jù)存儲是大數(shù)據(jù)時代需要解決的重要問題。目前,鐵路物資系統(tǒng)保存了大量的結構化數(shù)據(jù),然而亟待解決的是海量半結構化和非結構化數(shù)據(jù)的存儲問題。非結構化的數(shù)據(jù)主要采用對象存儲系統(tǒng)或分布式文件系統(tǒng)進行存儲,本文采用Hadoop分布式文件系統(tǒng)。Hadoop基于一種開源的理念實現(xiàn)的分布式文件系統(tǒng);半結構化數(shù)據(jù)可以使用NoSQL數(shù)據(jù)庫HBase中存放;結構化數(shù)據(jù)存放在關系型數(shù)據(jù)庫Oracle或SQL Server中。HDFS(Hadoop Distributed FileSystem)是Hadoop的核心模塊之一,具有如下特點:
在一個多節(jié)點塊集群存儲文件;在節(jié)點間復制模塊;主從架構;沒有文件更新;一次寫,多次讀;大數(shù)據(jù)塊順序讀模式;為批處理設計。大數(shù)據(jù)時代的數(shù)據(jù)有以下幾個特征:大體量(Volume)、多樣性(Variety)、大價值(Value)、時效性(Velocity)、準確性(Veracity)的5V特點。常規(guī)的數(shù)據(jù)分析僅僅是對己有數(shù)據(jù)的靜態(tài)分析,并不能進行動態(tài)的預測,而物資系統(tǒng)要求動態(tài)實時的反應生產(chǎn)實際,所以該系統(tǒng)大數(shù)據(jù)分析的難點是動態(tài)化、多維化和深度化。適用于大數(shù)據(jù)的技術,包括大規(guī)模并行處理(Mpp)數(shù)據(jù)庫,數(shù)據(jù)挖掘電網(wǎng),分布式文件系統(tǒng),分布式數(shù)據(jù)庫,云計算平臺,互聯(lián)和可擴展的存儲系統(tǒng)。
4 結語
5.1 實施策略
大數(shù)據(jù)平臺的建設工作量大、周期長、涉及部門多,系統(tǒng)的實施應遵循統(tǒng)一指揮、統(tǒng)一規(guī)劃的原則,系統(tǒng)實施過程采用分步建設、試點先行的原則,在明確分工的基礎上,大力協(xié)同,科學實施,確保各項工作的有序推進。
5.2 項目實施組織
成立物資應用大數(shù)據(jù)管理信息系統(tǒng)項目工作組,按照本方案有序推進實施工作。項目工作組負責總體指導和統(tǒng)籌協(xié)調,解決系統(tǒng)工程建設中的重大問題,確保按統(tǒng)一規(guī)劃和建設標準進行實施;協(xié)調設計單位、相關接口系統(tǒng)的設計開發(fā)單位、業(yè)務處室和站段直接的分工協(xié)作。
成立專家組負責業(yè)務指導和技術把關,為項目開發(fā)和實施過程中出現(xiàn)的問題提供咨詢支持。成立項目總體組,負責項目總體設計、進行任務分工、把握項目進度、協(xié)調項目組內部工作等,下設數(shù)據(jù)組、軟件開發(fā)組與實施組、質量保證組。
物資應用大數(shù)據(jù)管理信息系統(tǒng)的建設可以有效地提升物資管理水平,可以對市場價格及路局下一階段重要物資的需求有一個相對準確的預判,根據(jù)大數(shù)據(jù)的預測提前部署物資的采購工作,可以保證全局的物資供應;通過大數(shù)據(jù)平臺的應用可以實現(xiàn)物資質量跟蹤與供應商評價有機結合;實現(xiàn)對物資庫存數(shù)據(jù)的挖掘和分析,可以降低庫存物資,減少物資積壓,提高對廢舊物資的有效利用,對降低物資消耗有積極作用。
【對于鐵路物資應用大數(shù)據(jù)管理解決方案的研究論文】相關文章：
對于鐵路機車車輛運行故障監(jiān)測診斷技術的研究與應用的分析論文03-15
鐵路運輸節(jié)能技術的應用論文03-17
計算機存儲技術對GIS數(shù)據(jù)管理的應用論文03-08
鐵路施工企業(yè)物資成本控制論文02-23
煤炭企業(yè)物資管理研究的論文11-10
鐵路專用線供電方案研究論文02-14
鐵路項目工程物資管理的相關問題探討論文03-05
大數(shù)據(jù)制訂鐵路運輸物資的調運方案論文02-12
- 相關推薦