企業空間 采購商城 存儲論壇
華為全閃存陣列 IBM云計算 Acronis 安克諾斯 安騰普 騰保數據
首頁 > 成功案例 > 正文

河南移動的MPP大數據平臺對象存儲實踐

2020-01-16 09:59來源:中國存儲網
導讀:利用大數據對DPI(Deep Packet Inspection,基于數據包的深度檢測)等數據進行分析,可獲取客戶的行為偏好,實現客戶精準營銷。

電信與媒體市場調研公司Informa Telecoms & Media的調查結果顯示,早在2013年,全球120家運營商中約有48%的運營商正在實施大數據業務。大數據業務成本平均占到運營商總IT預算的10%,并且在未來五年內將升至23%左右。

河南移動的MPP大數據平臺對象存儲實踐

電信運營商在運營服務中積累了大量數據,既包括日志、賬單、信令等結構化和半結構化數據,也會涉及到圖片、文本、音頻、視頻等非結構化數據。據不完全統計,一個省一天的運營商數據量可達到PB級。

而通過對海量數據資源的挖掘,可支撐運營商快速響應需求,實現敏捷運營,以及推動數字化轉型。例如,利用大數據對DPI(Deep Packet Inspection,基于數據包的深度檢測)等數據進行分析,可獲取客戶的行為偏好,實現客戶精準營銷。

01河南移動的實踐

據媒體報道,早在2018年7月,河南移動4G用戶數量已突破4000萬,在河南運營商市場處于領先地位。與此同時,其家庭寬帶客戶接近900萬,建設4G基站10萬個;物聯網連接數接近2000萬(新聞鏈接:https://news.dahe.cn/2018/07-03/336954.html ); 2019年,河南移動全面啟動了5G建設。

為了更加精細化大數據運營,管理和監控網絡流量數據,河南移動部署了統一DPI系統實現海量日志數據處理,包括支撐集團和省層面的網絡運行、企業信息、市場營銷、網信安全、特殊通信等五大類應用,如移動感知分析、移動上網日志留存、信息推送、流量軌跡查詢、IDC/ISP信安系統等。

河南移動的MPP大數據平臺對象存儲實踐

統一DPI系統

在該業務的數據處理上,客戶過去采用MR+HiveSQL+HDFS+Flum傳統架構進行支撐。這一解決方案導致:在應用端,無法實現多種數據融合分析,多并發能力不足查詢效率不高;在存儲端,計算存儲緊耦合不夠彈性,出現存儲訪問瓶頸,無法支持海量數據的按需擴展;以及更復雜的運維,更高的建設成本,逐漸難以滿足海量日志分析的需求。

為了解決上述問題,客戶在數據共享層采用了HashData+XEOS+gdfdists新架構,為客戶提供云原生數據倉庫解決方案,相對于原Hadoop方案,可減少60%的集群硬件和70%的運維投入。

河南移動的MPP大數據平臺對象存儲實踐

數據共享層解決方案

1、AAA解析模塊:接受Radius原始流量解析后發送至HashData平臺;

2、Web服務器:負責策略生成、策略下發、數據結果展現;

3、HashData:數據導入、數據清洗、數據查詢和數據分發(數據生成與Td上報程序);

4、XEOS:對接HashData平臺,海量日志數據存儲。

在新的解決方案中,XEOS替代原先HDFS實現PB級數據在線管理,同時提供冷熱數據分層、索引數據多副本、日志數據采用糾刪碼(EC糾刪碼12+3,得盤率80%)等策略,保障整體方案的更優性價比。目前,客戶已采購1.5PB存儲容量…

02現有的數據應用問題

今天,企業數據呈指數級增長,基于海量數據的分析、挖掘數據價值成為運營商和企業用戶的常態化選擇。然而數據環境的諸多變化,驅動了數據應用的新需求產生:

1、全量數據處理:統一系統內處理內外部的海量數據,數據類型復雜如結構化數據、半結構化數據;

2、高并發響應:更多部門、角色甚至機器參與到數據訪問中,動態的支持高并發響應;

3、多維實時分析:將各維度的數據關聯進行數據分析挖掘,沒有大量時間做預處理,裸數據實時響應;

4、跨平臺訪問:數據訪問環境差異,公有云、私有云以及混合云等多種場景下,跨平臺數據靈活訪問;

5、云技術融合:大數據和云計算技術飛速發展,如何充分利用云的優勢讓數據發揮更大價值亟待解決。

面對數據應用的上述新需求,現有的解決方案面臨著以下問題:

1、共享存儲數據倉庫

▪ 擴展性差

▪ 存儲訪問瓶頸

▪ 無法支持海量數據

▪ 一體機價格昂貴

2、MPP數據倉庫

▪ 無法支持多種數據類型

▪ 大數據量性能級穩定性下降

▪ 擴容數據重分布難度大過程冗長

▪ 無法合理規劃以及靈活利用存儲和計算資源

▪ 無法支持高并發

3、Hadoop及NoSQL方案

▪ 不完全支持SQL

▪ 計算存儲緊耦合不夠彈性

▪ 配置、調優、管理、維護復雜

▪ 學習成本高、學習曲線陡峭

▪ 效率低下,高并發能力有限

▪ 查詢性能不穩定,影響因素多

03存算分離的云原生數倉

鑒于此,HashData(酷克數據)研發設計了新一代云原生數據倉庫架構。HashData企業級云數據倉庫是一個高性能、完全托管的PB級數據倉庫服務,融合MPP高效引擎、云計算的彈性以及大數據平臺綜合數據處理能力三方特性。全面兼容PostgreSQL協議以及SQL 2008語法標準,對外提供標準的JDBC和ODBC接口,無縫集成主流ETL和BI工具。

河南移動的MPP大數據平臺對象存儲實踐

新一代云原生數據倉庫架構具有以下特點:

▪ 元數據、計算和存儲三者分離;

▪ SQL on 對象存儲;

▪ 按需動態水平擴容;

▪ 支持跨數據中心和云平臺數據訪問;

▪ 毫秒級響應海量數據交互式查詢及多維分析;

▪ 高可用架構以及靈活數據副本策略;

▪ 無縫對接Oracle、MySQL、DB2、MongoDB等以及主流BI產品。

在基于云原生的計算和存儲分離數據倉庫方案構建中,獨立擴展的計算和存儲更加靈活,同時可顯著降低成本。HashData與XSKY建立了合作伙伴關系,利用XSKY XEOS對象存儲與HashData企業級云數據倉庫形成統一解決方案,并具有以下優勢:

▪ 計算存儲分離部署,按需擴容,大幅降低TCO;

▪ 更加優化的性能,以及企業級存儲特性;

▪ 適用于大數據平臺的容災備份;

▪ 整體方案性能更加穩定,易交付易維護,簡化工作流程大幅縮短交付周期。

 

 

 

 

 

繼續閱讀
關鍵詞 :
對象存儲
中國存儲網聲明:此文觀點不代表本站立場,如有版權疑問請聯系我們。
相關閱讀
產品推薦
頭條閱讀
欄目熱點

Copyright @ 2006-2019 ChinaStor.COM 版權所有 京ICP備14047533號

中國存儲網

存儲第一站,存儲門戶,存儲在線交流平臺

湖北十一选五任选五