大數(shù)據(jù)應(yīng)用范圍有哪些
人工智能應(yīng)用
場景概述
2016年AlphaGo橫空出世,4:1戰(zhàn)勝李世石,17年又以3:0戰(zhàn)勝世界圍棋冠軍柯潔,此后三年,星際,Dota2,德州撲克等均涌現(xiàn)出超高水平AI。人工智能應(yīng)用在其中起到了不可替代的作用。
游戲智能體通常采用深度強(qiáng)化學(xué)習(xí)方法,從0開始,通過與環(huán)境的交互和試錯(cuò),學(xué)會觀察世界、執(zhí)行動(dòng)作、合作與競爭策略。每個(gè)AI智能體是一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型,主要包含如下步驟:
1、通過GPU分析場景特征(自己,視野內(nèi)隊(duì)友,敵人,小地圖等)輸入狀態(tài)信息(Learner)。
2、根據(jù)策略模型輸出預(yù)測的動(dòng)作指令(Policy)。
3、通過CPU單線程模擬玩家,每個(gè)玩家(Actor)執(zhí)行不同的策略。
4、不同策略對應(yīng)不同結(jié)果,不同結(jié)果產(chǎn)生不同的Reward(獎(jiǎng)勵(lì)分?jǐn)?shù))。
5、該獎(jiǎng)勵(lì)分?jǐn)?shù)作為參數(shù)用來更新策略模型,再進(jìn)行新一輪學(xué)習(xí)。
客戶瓶頸
1、實(shí)時(shí)性與長期性:AI不僅要做出實(shí)時(shí)的操作決策,還要做出長期的規(guī)劃決策,通常對于游戲時(shí)間30分鐘左右的STG游戲,對應(yīng)的決策步數(shù)(Policy)超過7000步,這意味著Actor執(zhí)行Policy的時(shí)間成本較高。
2、復(fù)雜的動(dòng)作空間:玩家需要同時(shí)操作移動(dòng)方向、視角方向、攻擊、姿態(tài)(站、蹲、趴、跳、跑)、交互(救人、拾取、換彈)等操作,產(chǎn)生復(fù)雜的組合動(dòng)作空間,可行動(dòng)作數(shù)量在10^7量級。對于CPU計(jì)算能力要求較高。
3、訓(xùn)練任務(wù)快速部署:客戶進(jìn)行AI強(qiáng)化學(xué)習(xí)時(shí),需要短時(shí)間(10mins)拉起上萬核CPU,對動(dòng)態(tài)擴(kuò)容能力要求較高。
競享實(shí)例的應(yīng)用
該AI學(xué)習(xí)引擎采用競享實(shí)例提供CPU資源。得益于競享實(shí)例的快速擴(kuò)容與成本優(yōu)勢,引擎可以短時(shí)間生成超大規(guī)模AI(Actor)同時(shí)執(zhí)行更多的策略,縮短模擬時(shí)間。而憑借競享實(shí)例的強(qiáng)勁性能(全系C類型)該引擎訓(xùn)練一天相當(dāng)于人類玩家打10萬年。
圖1 人工智能應(yīng)用架構(gòu)圖
Learner:學(xué)習(xí)集群,一般是多個(gè)GPU顯卡組成訓(xùn)練集群
Actor:采用競享實(shí)例提供CPU,每個(gè)線程作為一個(gè)AI玩家,用于測試策略的執(zhí)行效果
Policy:Learner的輸出結(jié)果,游戲AI的策略
Reward:Actor的執(zhí)行結(jié)果的反饋,提供給Learner
大數(shù)據(jù)應(yīng)用范圍有哪些
大數(shù)據(jù)應(yīng)用范圍有哪些
華為云大數(shù)據(jù)相關(guān)技術(shù)與產(chǎn)品服務(wù)
華為云大數(shù)據(jù)相關(guān)技術(shù)與產(chǎn)品服務(wù)
- 大數(shù)據(jù)計(jì)算
- 大數(shù)據(jù)搜索與分析
- 大數(shù)據(jù)治理與開發(fā)
- 數(shù)據(jù)可視化
- 大數(shù)據(jù)應(yīng)用
- 數(shù)據(jù)平臺
MapReduce服務(wù)(MapReduce Service)提供租戶完全可控的企業(yè)級大數(shù)據(jù)集群云服務(wù),輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件。
實(shí)時(shí)流計(jì)算服務(wù)(Cloud Stream Service, 簡稱CS)提供實(shí)時(shí)處理流式大數(shù)據(jù)的全棧能力, 簡單易用, 即時(shí)執(zhí)行Stream SQL或自定義作業(yè)。無需關(guān)心計(jì)算集群, 無需學(xué)習(xí)編程技能。完全兼容Apache Flink和Spark API
數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務(wù)。企業(yè)使用標(biāo)準(zhǔn)SQL、Spark、Flink程序就可輕松完成多數(shù)據(jù)源的聯(lián)合計(jì)算分析,挖掘和探索數(shù)據(jù)價(jià)值
數(shù)據(jù)倉庫服務(wù) GaussDB(DWS)實(shí)時(shí)、簡單、安全可信的企業(yè)級融合數(shù)據(jù)倉庫,可借助DWS Express將查詢分析擴(kuò)展至數(shù)據(jù)湖?;谌A為GaussDB產(chǎn)品的云原生服務(wù),兼容標(biāo)準(zhǔn)SQL和PostgreSQL/Oracle生態(tài)
華為云可信智能計(jì)算服務(wù)( TICS,Trusted Intelligent Computing Service )面向政企行業(yè), 打破跨行業(yè)的數(shù)據(jù)孤島, 實(shí)現(xiàn)行業(yè)內(nèi)部、跨行業(yè)之間在數(shù)據(jù)隱私保護(hù)下的多方數(shù)據(jù)聯(lián)合分析和聯(lián)邦計(jì)算能力,基于可信硬件執(zhí)行環(huán)境TEE、安全多方計(jì)算MPC、區(qū)塊鏈等技術(shù), 實(shí)現(xiàn)數(shù)據(jù)在存儲、流通、計(jì)算過程中端到端的安全和可審計(jì), 推動(dòng)跨行業(yè)的可信數(shù)據(jù)融合和協(xié)同。
表格存儲服務(wù)(CloudTable)是基于Apache HBase提供的全托管NoSQL服務(wù),集成時(shí)序、時(shí)空數(shù)據(jù)存儲特性,可提供千萬級TPS以及毫秒級隨機(jī)讀寫能力。可被廣泛應(yīng)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、金融、智慧城市、氣象等行業(yè)。
云搜索服務(wù)是一個(gè)基于Elasticsearch且完全托管的在線分布式搜索服務(wù),為用戶提供結(jié)構(gòu)化、非結(jié)構(gòu)化文本的多條件檢索、統(tǒng)計(jì)、報(bào)表。完全兼容開源Elasticsearch軟件原生接口。它可以幫助網(wǎng)站和APP搭建搜索框,提升用戶尋找資料和視頻的體驗(yàn);還可以搭建日志分析平臺,在運(yùn)維上進(jìn)行業(yè)務(wù)日志分析和監(jiān)控,在運(yùn)營上進(jìn)行流量分析等等。
日志分析服務(wù)(Log Analysis Service, 簡稱LOG)一站式海量實(shí)時(shí)日志分析服務(wù),提供日志實(shí)時(shí)采集、智能分析與可視化、轉(zhuǎn)儲等功能。提供端到端的快速、易用、豐富的日志分析平臺
數(shù)據(jù)湖治理中心(DGC)是數(shù)據(jù)全生命周期一站式開發(fā)運(yùn)營平臺,提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能,支持行業(yè)知識庫智能化建設(shè),支持大數(shù)據(jù)存儲、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座,幫助企業(yè)客戶快速構(gòu)建數(shù)據(jù)運(yùn)營能力。
數(shù)據(jù)接入服務(wù)(Data Ingestion Service,簡稱DIS)可讓您輕松收集、處理和分發(fā)實(shí)時(shí)流數(shù)據(jù),以便您對新信息快速做出響應(yīng)。DIS對接多種第三方數(shù)據(jù)采集工具,提供豐富的云服務(wù)Connector及Agent/SDK。適用于IoT、互聯(lián)網(wǎng)、媒體等行業(yè)的設(shè)備監(jiān)控、實(shí)時(shí)推薦、日志分析等場景。
云數(shù)據(jù)遷移(Cloud Data Migration,簡稱CDM),是提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移服務(wù),幫助客戶實(shí)現(xiàn)數(shù)據(jù)自由流動(dòng)。支持文件系統(tǒng),關(guān)系數(shù)據(jù)庫,數(shù)據(jù)倉庫,NoSQL,大數(shù)據(jù)云服務(wù)和對象存儲等數(shù)據(jù)源,無論是客戶自建還是公有云上的數(shù)據(jù)源
數(shù)據(jù)可視化服務(wù)(Data Lake Visualization)是一站式數(shù)據(jù)可視化平臺,適配云上云下多種數(shù)據(jù)源,提供豐富多樣的2D、3D可視化組件,采用拖拽式自由布局,旨在幫助您快速定制和應(yīng)用屬于您自己的數(shù)據(jù)大屏
推薦系統(tǒng)(Recommender System),基于華為大數(shù)據(jù)和人工智能技術(shù),提供全流程一站式推薦平臺,協(xié)助企業(yè)輕松構(gòu)建個(gè)性化推薦應(yīng)用,致力于提升企業(yè)應(yīng)用的點(diǎn)擊率、留存率和用戶體驗(yàn)。
數(shù)據(jù)使能結(jié)合華為數(shù)字化轉(zhuǎn)型實(shí)踐和30多年在ICT基礎(chǔ)設(shè)施領(lǐng)域積累的技術(shù),攜手行業(yè)合作伙伴,為客戶提供一站式數(shù)據(jù)全生命周期管理解決方案,打造“全域、服務(wù)化、資產(chǎn)化、智能、安全”的數(shù)據(jù)體系,釋放數(shù)據(jù)價(jià)值
智慧空管數(shù)據(jù)使能解決方案結(jié)合華為優(yōu)秀數(shù)據(jù)實(shí)踐驗(yàn)證的方法論及豐富的數(shù)據(jù)管理工具,華為云為空管客戶提供 “方法論+管理體系+技術(shù)平臺+應(yīng)用場景”的組合服務(wù),在塔臺管制、進(jìn)近管制、區(qū)域管制、流量管理等空管業(yè)務(wù)上,提供一站式數(shù)據(jù)全生命周期管理解決方案,打造“全域、服務(wù)化、資產(chǎn)化、智能、安全”的數(shù)據(jù)體系,為空管數(shù)字化轉(zhuǎn)型提供支撐
大數(shù)據(jù)技術(shù)與應(yīng)用要學(xué)習(xí)什么課程
課程結(jié)合實(shí)踐,借助配套的實(shí)驗(yàn)環(huán)境,一站式學(xué)練考,輕松Get新知識