最近，隨著手機廠商爭先恐后地發(fā)新機，筆者身邊不少人的見面問候語變成了：“?你換手機了嗎？”而無論你換什么手機，想必都要考慮“5G時代的數據激增，選手機該從多大內存起步”的問題。
如果說每個人都已經開始意識到個人數據激增和數據管理的重要性，在To?B端，數據激增的趨勢更加明顯，隨著5G、AI、IoT等技術的廣泛應用，PB級的數據早已見怪不怪，據預測。全球每天產生的數據量更將從2018年的33ZB快速增長到2025年的180ZB。數據種類也越來越多，實時性要求更高，大數據不斷在部門、行業(yè)之間流動將成為趨勢，廣大政企用戶也意識到，數據將成為“生產力”，為它們在數字世界與現實世界的融合提供全面的競爭力。大數據技術和應用已經進入到了“落地”期，越來越多的政企從嘗試性部署進入到了規(guī)模部署的階段。
在現實世界中，需求側覺醒的同時，在平行的賽博世界中，技術的進化也一直在持續(xù)。自從2006年Apache?Hadoop架構發(fā)布以來，到2011年，企業(yè)逐漸采用Hadoop架構演進出來的開源或商用大數據軟件，開啟了離線計算時代;2012年，以Spark等為核心的流式計算開啟了實時計算時代，在線分析和實時計算的場景也開始逐漸應用，但這一階段的使用者主要是開發(fā)人員;2013年至今，隨著數據的激增，大數據平臺演進成了融合大數據平臺，而隨著AI等技術的突飛猛進，數據分析到數據挖掘，大數據平臺向著智能化進行演進。
我們知道，每個應用會產生、存儲大量的數據，一般情況下這些數據并不能被其他應用所使用，所以就形成了“數據孤島”。隨著數據集市的興起，應用的數據存儲在一個集中的數據倉庫中，可根據需要導出。但數據集市只解決了部分的問題，數據管理、數據所有權與安全性等問題亟需解決。
自2009?年開始投入研究，最早于2014年推出商用產品，秉承開源開放的心態(tài)，踐行“平臺+生態(tài)”戰(zhàn)略，華為云踩對了歷史的進程，圍繞政企大數據全生命周期，華為云FusionInsight是一個技術領先的云原生智能數據湖，是華為云三大使能之數據使能方案的堅實數據底座。在近日發(fā)布的《IDC?MarketScape:中國大數據管理平臺廠商評估，2020》(以下簡稱IDC大數據報告)報告中，對中國主流大數據廠商從能力、戰(zhàn)略、市場份額三個維度進行了全面評估，華為云位居領導者象限領先位置，并在技術實力和市場份額兩大維度雙領先。
華為云 FusionInsight 的“硬核”之路
可以看到，在IDC大數據報告中，有云服務廠商、傳統ICT?廠商，以及大數據時代的創(chuàng)企等三類“玩家”。為何華為云能夠脫穎而出？據了解，在技術創(chuàng)新方面，華為云FusionInsight智能數據湖具備了五大硬核能力：
硬核能力之一：讓政企客戶在一個大、快、融、穩(wěn)的數據湖架構下可持續(xù)演進
大：傳統的大數據單集群擴容受限，往往擴容到2000節(jié)點就難以突破，華為云FusionInsight通過大集群突破擴展性瓶頸，支持最大2萬+節(jié)點大集群，還可集群聯邦無限擴容。此大規(guī)模特性已在華為內部獲得了實踐，華為云流程IT通過FusionInsight構建OneData大數據集群，其規(guī)模已至1萬+節(jié)點，支撐各部門運營分析、即席查詢等大數據分析，每日新增數據近100TB，10萬張表，即席查詢任務日均1萬+，批處理作業(yè)每日10萬+。華為流程IT?OneData大集群歷經兩次滾動升級，業(yè)務0中斷，已穩(wěn)定運行六年。
快：因數據量仍在不斷指數級增長，人們對大數據高效處理的極致追求永無止境!傳統大數據存在分析鏈路長，以T+1事后報表為主。華為云FusionInsight?MRS可T+0實時增量更新和實時OLAP，讓大數據越用越”快“!華為集團IT基于FusionInsight，實現了CDC+FLINK的實時集成方案，支撐了主干交易、財經、供應等交易數據的增量整合模型落地，相對于傳統數倉的ETL+調度方案，數據供給效率提升了10倍。
融：傳統大數據分析面臨類型多、分布散、協同難等問題;FusionInsight通過HetuEngine實現五大融合，統一SQL接口僅用簡單的SQL就可操作PB級數據，全民BI，讓大數據越用越簡單。某行基于FusionInsight構建金融大數據，通過HetuEngine統一SQL接口，解決數據分散，組件多、語言多等難題，降低技術開發(fā)門檻，跨源跨域跨引擎融合分析，數據免搬遷，降低整體TCO。
穩(wěn)：FusionInsight可保障一企一湖連續(xù)性，在線滾動升級，業(yè)務永遠在線，無需拆集群、搬應用，徹底解決傳統大數據集群多、效率低、管理難、升級難等問題，讓升級過程中關鍵業(yè)務不中斷，確保業(yè)務連續(xù)性。某運營商使用FusionInsight搭建了大數據平臺應對5G數據浪涌，先后兩次滾動升級實現了大數據平臺的平滑演進，實現業(yè)務無中斷，升級無感知，用戶體驗持續(xù)在線，單集群規(guī)模已擴展至1500+節(jié)點，支撐了各類政務、旅游、精準扶貧等200+大數據應用服務，覆蓋用戶1.3億+。
硬核能力之二：實時數據湖
為了實現實時性，華為云FusionInsight提出了實時數據湖，?支持數據實時批量入湖、實時增量同步，全量數據供應效率T+0;可對貼源數據實時多維分析，縮短分析鏈路，提高分析效率，讓數據價值近在眼前!
硬核能力之三：云原生數據湖
近幾年，云原生是云計算領域關鍵的技術創(chuàng)新，華為云在云原生領域也探索多年，通過Data?Lake?Catalog數據湖目錄，為超大規(guī)模分析引擎提供統一元數據服務，讓數據全局可視可得;在數據存儲方面，通過OBS存算分離方案，實現計算、存儲按需擴容，基于企業(yè)級EC實現最低1.2副本，總體TCO下降20%+，讓數據每bit成本更優(yōu)!。湖內提供交互式分析引擎，可無縫對接BI報表和自助分析，實現秒級用數，數據免搬遷;湖內統一SQL接口，降低技術開發(fā)門檻，簡化用數，實現技術領先的云原生數據湖。
硬核能力之四：企業(yè)級數據倉庫
華為云FusionInsight為客戶提供基于Shared-Nothing架構提供新一代開放的、全場景分析型數據倉庫DWS，支持2048節(jié)點擴展能力;多層級全并行計算引擎，可調度海量的算力資源，通過高效的指令效率，實現數據導入和分析;具備多層級容災能力，穩(wěn)定可靠，離線、半在線、在線擴容技術，從容應對多種擴容場景。
硬核能力之五：一站式數據湖治理中心
華為云FusionInsight為客戶提供一站式數據湖治理中心，助力企業(yè)快速構建從數據接入到分析的E2E數據治理體系，統一數據標準，加速數據資產化。通過全域數據視圖統一信息架構，統一數據標準;通過一站式全棧平臺實現30+異構數據源的高效數據集成;擁有開放完備的安全體系，數據分級分類，統一安全認證。
通過以上五大“硬核”能力的加持，華為云FusionInsight新一代的數據湖，讓大數據越用越快、越用越易、越用越穩(wěn)、越用越省!
“一企一湖，一城一湖”的夢想照進現實
隨著“新基建”的提出，智慧城市的不斷深入，5G、AI、IoT等技術的廣泛應用，城市中大數據不斷在部門、行業(yè)之間流動成為趨勢，城市中各職能部門和社會企業(yè)的數據需要融合分析，從割裂的數據孤島，走向“一城一云一湖”。同時，企業(yè)越來越重視利用數據驅動業(yè)務增長，加速建成“一企一云一湖”。
另一方面，縱觀當今的大數據市場，技術的創(chuàng)新速度領先于市場的需求速度。技術提供商不斷推出新的產品和新的理念，而行業(yè)用戶卻還在應用分析如何入門的門檻上掙扎。技術提供能力與用戶需求、用戶內部業(yè)務部門與IT?部門經常存在“脫節(jié)”。為響應政企客戶業(yè)務發(fā)展需要與技術創(chuàng)新需求，結合自身用數經驗和十年+行業(yè)積累，是華為云新一代智能數據湖FusionInsight應運而生的時代背景。
在技術上持續(xù)創(chuàng)新打磨之外，華為云FusionInsight也是“最懂行”的大數據解決方案：
在政府領域，國內50%的智慧城市都有華為云FusionInsight的孜孜不倦的身影，華為云大數據已支撐多個部委和各省市地區(qū)建設“大數據+政務”。在某市，華為云FusionInsight聯合伙伴建成“一云二網三平臺”，在統一的政務數據邏輯模型的指導下，針對民生、產業(yè)、政府的“痛點”和“難點”，從構建城市數據資源庫為開端，以大數據分析支撐政府智慧決策，以建設智慧應用為抓手，打破信息孤島，實現信息資源交換共享，在?“數聚惠民”、“數聚興業(yè)”、“數聚善政”三大方面，發(fā)揮大數據的威力，支撐?“一號、一窗、一網”?政務服務，讓簡政放權、百姓辦業(yè)務“最多跑一次”成為現實。
在金融領域，國內50%的TOP20金融客戶(含銀行、證券、保險等)均已使用華為云FusionInsight構建其大數據平臺。某行使用華為云FusionInsight構建大數據基礎平臺，支撐了銀行企業(yè)級數據湖、數據倉庫、集團信息庫為核心的“一湖兩庫”建設，承載了總行及各支行業(yè)務系統，支撐日常銀行BI、AI、數據挖掘、數據分析等，實現了一份數據全局可用，免除數據搬遷，提升協同效率10倍，存儲周期提升2倍，資源利用率最大可達90%，加速銀行數字化轉型進程。
在運營商領域，國內三大運營商均使用華為云FusionInsight構建其大數據平臺。廣東移動基于華為云FusionInsight，聯合政企客戶共同打造智慧電網、智慧交通、智慧港口、高清視頻等系列標桿應用，打通數據全生命周期鏈路，實現對內業(yè)務支撐、對外應用賦能，全面支撐了各類政務、民生等大數據應用服務。
在交通領域，深圳地鐵在6、10號線采用華為云FusionInsight構建大數據分析平臺，打造領先的5G+大數據方案，并構建其數據資產中心和運行監(jiān)控中心，承載地鐵各業(yè)務系統，支撐設備健康、能耗管理、客流統計、線路中心級監(jiān)控、應急決策和圖像型火災分析等線路級數據分析，數據分析效率從周級縮短至分鐘級，實現高效運營，推動深圳步入更美好的全聯接數字化軌道交通新時代…
除過在以上各行業(yè)的應用，在環(huán)境保護方面，青海綠能數據有限公司基于華為云FusionInsight構建了國內首個能源大數據創(chuàng)新平臺，實現了規(guī)劃輔助決策、用氣象數據科學指導發(fā)電等創(chuàng)新業(yè)務，為上下游產業(yè)鏈企業(yè)提供25類47項數據服務，推動28座新能源場站實現了“無人值班、少人值守”，并有效支撐了青?！熬G電15日”，以大數據為基石，建設綠色新青海，守護高原和諧生態(tài)。
同時，華為堅持“自己的降落傘自己先跳”，華為集團IT通過FusionInsight構建OneData大數據集群，實現大數據平臺在大規(guī)模場景下的開拓，OneData集群其規(guī)模已至1萬+節(jié)點;同時，實現了統一的數據管理服務，在菩提海UniDB產品中，通過邏輯統一方式，把50+物理分散的計算集群(Hadoop+MPP)，基于五統一(數據安全，元數據目錄，數據集成，數據訪問，任務調度)，整合成湖倉一體的架構，支撐上千個企業(yè)租戶的PB級數據分析處理需求。一個基于FusionInsight?MRS+DWS?的“+治理，+AI，+運營，+云”的融合數據底座(菩提海)已經在華為集團IT廣泛使用，未來可期。
以上只是“冰山的一角”，華為云FusionInsight一方面不斷深入理解客戶不斷發(fā)展的業(yè)務訴求，另一方面，持續(xù)技術創(chuàng)新并引領行業(yè)發(fā)展，商業(yè)訴求+技術創(chuàng)新雙輪驅動行業(yè)可持續(xù)、高質量發(fā)展，“用數”助力客戶商業(yè)成功!上面的論述已經充分證明，華為云是“懂行”的大數據領導者，真正讓客戶用好數、管好數、放心用。
據了解，截至2020?年10月底，華為云FusionInsight?智能數據湖已服務60+個國家和地區(qū)，3,000+客戶，覆蓋政府、金融、運營商、電力、傳媒、醫(yī)療、教育、交通、油氣、物流、零售、制造、互聯網等行業(yè)。
寫在最后
在萬物互聯的新時代，數字化轉型進入到“深水區(qū)”的當下，越來越多的政企意識到“得數據者得天下”的真諦。如果把“數據”比喻成油田，那么如何“開采”讓其充分發(fā)揮價值，讓數據分析更簡單？考驗的不僅是大數據服務商的技術創(chuàng)新能力，還要深刻洞察不同行業(yè)的數據需求差異。可以肯定的是，華為云FusionInsight智能數據湖還將持續(xù)進化，助力千行百業(yè)釋放出更大的數據價值。
