了解華為云最新動態(tài)
2017年12月2日，華為云技術私享會第四期 – 云存儲專場在北京3W咖啡舉辦。來自華為云存儲團隊的大咖們分享了華為云存儲的技術實踐歷程、高性能分布式存儲架構剖析，以及時下熱門的專屬存儲方案。同時，來自Veritas的專家也帶來了多云環(huán)境下的挑戰(zhàn)以及應對方案。
華為云分布式存儲的三次關鍵選擇
做好基礎架構、高性能和高擴展性只是第一步，穩(wěn)定可靠才是存儲系統(tǒng)的生命線。FusionStorage的高可靠來自于“內(nèi)外兼修”：在外部，全球金融、能源、運營商以及政府等600多家行業(yè)客戶選用FusionStorage，總計EB級容量的規(guī)模商用過程中積累了大量寶貴的可靠性經(jīng)驗；在內(nèi)部，云存儲團隊組建了一支專業(yè)的藍軍，不斷打破假設，考慮人為誤刪、元數(shù)據(jù)損壞等極端因素，持續(xù)鞏固可靠性。
“華為云分布式存儲FusionStorage自研發(fā)上線至今，已經(jīng)經(jīng)歷了7年歷程。其中有三次非常關鍵的選擇。”華為云存儲服務總監(jiān)石勝兵開場介紹。
第一次，放棄一套架構同時支持塊、文件和對象，先聚焦把塊做好，同時創(chuàng)新自研強一致性協(xié)議，追求極致穩(wěn)定時延；
第二次，從超融合轉向聚焦云服務，以云服務的方式提供存儲資源和性能；
第三次，延后如重刪壓縮、雙活、同步、異步等企業(yè)特性的交付，聚焦在云所需要的高擴展性和大規(guī)模集群的可靠性。
“這三次決策讓FusionStorage堅定地選擇了云，把面向云的架構做好，把性能、擴展性和可靠性做好；同時在軟硬結合上不斷創(chuàng)新，追求極致穩(wěn)定性能，如實現(xiàn)SSD cache、率先支持56G Infinite Band?！?石勝兵表示。
華為云存儲服務總監(jiān)石勝兵
華為云高性能分布式存儲架構如何做到穩(wěn)定低時延？
活動當天，華為云存儲資深架構師張志樂，從架構的三方面深度剖析了華為云存儲如何做到了穩(wěn)定低時延：第一，復制和數(shù)據(jù)路由技術對分布式存儲系統(tǒng)性能起到?jīng)Q定性作用。華為分布式存儲采用強一致性以及DHT路由，因為強一致性時刻保證所有副本的數(shù)據(jù)都是最新的，使用數(shù)據(jù)時只需讀取主副本，時延比最終一致性更低；元數(shù)據(jù)路由在數(shù)據(jù)量增長時索引會急劇增多，而DHT路由和數(shù)據(jù)量無關，性能上沒有長尾效應。
第二，存儲介質(zhì)以及網(wǎng)絡方面的優(yōu)化。SSD的垃圾回收機制會引入寫放大，極端情況下時延增大10倍；大規(guī)模集群下多對多數(shù)據(jù)傳輸，RDMA網(wǎng)絡擁塞問題突出。華為分布式存儲實現(xiàn)了多流分離以及軟件主動Trim，有效避免了無效的數(shù)據(jù)搬移，提高IO效率的同時，延長SSD的壽命；時刻監(jiān)控網(wǎng)卡故障以及交換機故障，在觸發(fā)PFC風暴之前及時切換業(yè)務，避免網(wǎng)絡擁塞引起的雪崩效應。
第三，好的架構必須通過好的代碼實現(xiàn)落地。基于異步線程pipeline的線程調(diào)度需要多輪等待喚醒，IO耗時久。華為分布式存儲使用polling模式，網(wǎng)絡上通過RMDA輪詢或者DPDK輪詢，節(jié)省內(nèi)核到用戶態(tài)的拷貝和切換；磁盤上通過SPDK，減少中斷和切換，最終實現(xiàn)無線程上下文切換、無中斷、零等待，大幅提高IO效率。
華為云存儲資深架構師張志樂
對公有云的性能而言，僅僅做到以上三點仍不夠，還必須通過QoS機制做多租戶隔離，用戶的性能SLA才能得到保證。華為云存儲提供QoS機制，并且在中國區(qū)獨家提供Burst能力，使得小容量云硬盤在短時間內(nèi)獲得性能突發(fā)。
接下來的現(xiàn)場演示，展現(xiàn)了華為云存儲的三項能力：
1. 普通IO云硬盤，沒有QoS限制能跑到92000+IOPS，通過QoS限制在穩(wěn)定1000 IOPS；
2. 100 GB高IO云硬盤，借助Burst能力能保持在3000 IOPS半小時以上；
3. 共享云硬盤性能線性增長，16掛載點情況下所有掛載點均有20000+IOPS。
華為云專屬存儲方案：魚與熊掌兼得的最佳實踐
然而，云時代下，企業(yè)自建機房運維難度大、成本高、成本高昂，擴容周期長，企業(yè)正積極向公有云或混合云轉型。
對于數(shù)據(jù)安全性、合規(guī)性要求較高的政府、大型集團企業(yè)或金融機構，對于專屬存儲的需求正持續(xù)走高。華為云獨家推出專屬存儲服務，提供私有云級別的物理隔離能力，保證數(shù)據(jù)安全性、合規(guī)性的同時，用戶可以通過服務化的方式按需按量購買，享受公有云的便利性。
華為云服務資深架構師陳鐘平介紹了華為云專屬存儲服務有兩種產(chǎn)品形態(tài)：
DSS具有分布式存儲高并發(fā)、大帶寬以及靈活擴展的特性，能夠滿足云資源池、HPC以及OLAP等高并發(fā)應用場景的需求。如某政府客戶利用DSS構建專屬云，并將城市建筑工人的考勤系統(tǒng)遷移至其上，滿足數(shù)據(jù)存儲合規(guī)性，且節(jié)省了自建機房的運維成本。
DESS能夠提供0.5ms穩(wěn)定低時延，雙活特性保證6個9的業(yè)務可用性，支撐Oracle RAC、SAP HANA等企業(yè)核心數(shù)據(jù)庫平滑上云。如某知名企業(yè)考慮到數(shù)據(jù)安全性以及業(yè)務可用性，決定采用DESS替代企業(yè)高端SAN存儲，配合BMS裸金屬服務器，將核心業(yè)務系統(tǒng)平滑遷移上云，然后利用VPC將通用資源區(qū)已有的云上業(yè)務打通，實現(xiàn)公司整體業(yè)務上云。
華為云服務資深架構師陳鐘平
多云環(huán)境下的挑戰(zhàn)以及解決方案
未來即將走向多云的時代，但由于現(xiàn)在公有云行業(yè)標準化和開放度并不成熟，管理者在做多云部署以及管理的時候往往要面對很多風險和成本，比如數(shù)據(jù)遷移，在相同技術堆棧之間做遷移都有技術挑戰(zhàn)，遑論在不同公有云的不同技術堆棧之間遷移大量數(shù)據(jù)。同時，大家現(xiàn)在對一些關鍵問題的認識還比較模糊，比如數(shù)據(jù)在多個云之間流動的職責是不是云服務提供商應該做的，有沒有數(shù)據(jù)管理以及安全的問題等等。
Veritas一直在作為第三方技術供應商解決平臺之間的差異問題，這個戰(zhàn)略也會延伸到未來的多云時代里。不同的云之間，數(shù)據(jù)管理、服務遷移以及業(yè)務連續(xù)性等問題，本質(zhì)上都是云平臺之間的差異問題，都是Veritas致力去幫用戶解決的。
在未來IT世界，數(shù)據(jù)將會是比基礎設施更重要的資產(chǎn)，但數(shù)據(jù)的合規(guī)和治理帶來的挑戰(zhàn)一直被大家低估。“歐盟即將出臺把數(shù)據(jù)管理權力回歸個人的法律，比方說用戶可以要求互聯(lián)網(wǎng)平臺將其個人相關數(shù)據(jù)全部清除，即所謂的‘數(shù)據(jù)遺忘權’，這里面隱含了一系列數(shù)據(jù)合規(guī)性的管理，如果數(shù)據(jù)沒有刪除，罰責將會是該公司全年產(chǎn)值的4%?！?Veritas解決方案專家殷劍介紹?！癡eritas在數(shù)據(jù)合規(guī)性管理上有很長一段時間的積累，能夠做到智能識別個人用戶的數(shù)據(jù)，并在這基礎上做管理和服務?！?/p>
Veritas的VRP管理平臺能夠預測用戶的服務是否能部署、運營在另一個云平臺上，并且滿足合規(guī)性；也可以在不中斷業(yè)務的前提下，將數(shù)據(jù)在多個云之間做遷移。但要真正解決多云的問題，我們還面臨著很多挑戰(zhàn)，因為每個公有云都在進行劇烈的迭代和演進，Veritas也在緊跟時代的步伐，與主流公有云廠商一起努力，讓用戶在多云環(huán)境上部署、管理業(yè)務更加便捷和高效。華為與Veritas長久以來有深入的合作關系，雙方目前在容災備份方面有密切合作，將來會延伸至多云管理等更多解決方案。
Veritas解決方案專家殷劍
活動當天，華為云存儲團隊的專家們就分布式存儲技術實現(xiàn)、公有云運維和容災等問題與參會觀眾進行了深入探討。提問時間現(xiàn)場氣氛持續(xù)熱烈，直到散會時間仍有多名熱情觀眾留下與專家互動交流。上
除了線下面對面交流，大家還可以通過華為云社區(qū)與大咖線上互動，時間地點不再受限，還能找到志同道合的朋友，共同進步。
華為云技術私享會系列活動還將會在上海、深圳等地陸續(xù)開展，覆蓋更多的服務以及解決方案，為大家?guī)砀嗳A為云服務的技術干貨分享！