您好,歡迎訪問奇米網!

華為云智能數據湖FusionInsight 成功助力10000+大數據集群滾動升級!

分類:大數據 瀏覽數:43 2020-07-08 23:34 之家網站 - 編輯: 米米

隨著政企數字化發展,大數據在政府、金融、運營商、大型企業等中承載越來越多的關鍵數據分析、處理的業務,在日常升級和維護過程中,對于業務連續性保障的要求也越來越高。每次升級操作的窗口準備時間要求盡量短,同時需要實現大集群滾動升級時業務不停機,如何處理這些痛點,成為了業界關注的重點。

近日,華為流程IT的大數據集群(大數據集群是對大數據從數據獲取、數據存儲和數據分析的集群)使用華為云EI智能數據湖FusionInsight升級管理可視化服務工具,成功處理了升級過程中每天10萬+任務要求業務不中斷、大版本滾動升級、意外場景、開源版本等問題。本次成功升級的華為流程IT大數據集群規模達10000+節點,數據容量1000+PB,升級到新版本后,單集群規模最大可以支持到20000節點,可滿足華為流程IT業務高速發展的需要。

華為流程IT的大數據集群是基于華為云EI智能數據湖FusionInsight,面向數個部門,提供批流計算、多維分析、數據倉庫、ETL、數據治理、可視化平臺等基礎能力,高效支撐各個產品和解決方案的數據分析過程。2019年,隨著華為流程IT業務的飛速發展,大數據集群規模也急速增長,1年時間,數據總量增加了3倍,數據表增長了1.2倍,CPU使用率持續高達70%?,F網集群已經穩定運行超24個月。今年在業務高速增長的背景下,為了滿足大數據計算、存儲的需要,急需擴大規模和數據容量。

華為云EI智能數據湖FusionInsight基于華為云為業界提供公有云、混合云的大數據解決方案,采用高性能的BMS和ECS,輕松滿足企業數據處理業務需要。FusionInsight MRS大數據產品采用云化架構,架構靈活,最高可滿足3萬大集群使用和管理,滿足企業高速的業務增長分析需要,數據分析價值最大,使數據“慧”說話,使企業更智能。

基于此,下面一起看下華為流程IT的1萬+超大數據集群的成功滾動升級過程中,華為云EI智能數據湖FusionInsight起了什么樣的作用。

在本次升級面臨的挑戰:

1.業務不中斷:大數據集群每天為1000+租戶提供服務,需要10萬+任務在升級過程中不中斷。

2.大版本滾動升級:從Hadoop2.X升級到3.X,開源社區僅提供了HDFS的跨版本升級能力,Yarn前后兩個版本無法滾動升級;Hive從1.x到3.x版本,前后元數據格式不兼容、API有變化、語法不兼容等問題,導致無法支持滾動升級。

3.進度不中斷:集群規模達萬余節點,集群升級歷時數天,升級過程中需要應對各種突發事件,例如硬件的磁盤故障、網絡擁塞等各種異常場景,要求不中斷升級。

4.開源版本需改進:在升級過程中,存在HDFS刪除的文件并不會真正刪除,僅做了標記,會導致升級期間有效容量快速占滿;HDFS文件塊結構發生變化,導致升級后塊丟失;Hive的時間戳字段,發生變化,導致升級后業務數據無法正常使用等問題。

點擊分享到:

版權與免責聲明:

凡未注明"稿件來源"的內容均為轉載稿,本網轉載出于傳遞更多信息的目的;如轉載稿涉及版權問題,請作者聯系我們,同時對于用戶評論等信息,本網并不意味著贊同其觀點或證實其內容的真實性;


本文地址:http://www.634662.live/news/2020/07/08/36925757.html

轉載本站原創文章請注明來源:奇米網

江苏哈灵麻将官网 广西快乐双彩官网 广西快乐双彩游戏规则 股票涨跌行情 山西泳坛夺金技巧 股票配资炒股 股票分析报告格式 山东11选5最大遗漏结果 北京快乐8打法技巧 内蒙古快3开奖一定牛 白小姐六肖选一肖期期准