檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
遇見你，遇見未來 華為云 | +智能，見未來 項目實習生 華為云大數(shù)據(jù)平臺 華為云大數(shù)據(jù)平臺 領域方向：數(shù)據(jù)智能 工作地點： 深圳、杭州、南京、西安 華為云大數(shù)據(jù)平臺 數(shù)據(jù)智能 深圳、杭州、南京、西安 項目簡介 隨著數(shù)字劃時代的到來，社會生產(chǎn)生活產(chǎn)生大量的數(shù)據(jù)，數(shù)據(jù)量越來越大，種類越來越多
華為云MapReduce服務（MRS） 華為云MapReduce服務（MRS）是華為云提供的大數(shù)據(jù)服務，可以在華為云上部署和管理Hadoop系統(tǒng)，一鍵即可部署Hadoop集群。
對接大數(shù)據(jù)平臺 支持的大數(shù)據(jù)平臺簡介 華為云MRS對接OBS Cloudera CDH對接OBS Hortonworks HDP對接OBS 父主題： 大數(shù)據(jù)場景下使用OBS實現(xiàn)存算分離
圖1 大數(shù)據(jù)參考架構(gòu) 大數(shù)據(jù)架構(gòu)通常包括以下幾個核心組件和流程，企業(yè)可以根據(jù)實際需要選擇云服務或自建大數(shù)據(jù)組件： 業(yè)務數(shù)據(jù)源： 業(yè)務數(shù)據(jù)源是大數(shù)據(jù)平臺的數(shù)據(jù)輸入來源，可以是傳感器、網(wǎng)站日志、移動應用、社交媒體等各種數(shù)據(jù)源。
大數(shù)據(jù)架構(gòu)設計 設計原則 大數(shù)據(jù)集群設計 大數(shù)據(jù)任務調(diào)度平臺設計 大數(shù)據(jù)參考架構(gòu) 華為云大數(shù)據(jù)組件 父主題： 方案設計
——T3 出行大數(shù)據(jù)平臺負責人 楊華 了解詳情 點觸科技 “應用華為云的大數(shù)據(jù)解決方案，釋放了大數(shù)據(jù)平臺底層運維管理的壓力，使點觸大數(shù)據(jù)團隊更聚焦于業(yè)務，快速響應數(shù)據(jù)分析訴求，深入挖掘數(shù)據(jù)價值。”
1小時帶你了解大數(shù)據(jù)基礎服務 12月11日 19:00-20:30大數(shù)據(jù)全棧成長計劃直播課，邀請華為云MRS大數(shù)據(jù)研發(fā)工程師William老師在線編程帶你了解大數(shù)據(jù)基礎服務。他負責華為數(shù)據(jù)平臺研發(fā)，面向互聯(lián)網(wǎng)、大企業(yè)客戶，提供可行高效極致性價的互聯(lián)網(wǎng)方案，歡迎同學們屆時觀看！
華為云再獲中國大數(shù)據(jù)平臺市場第一 華為云再獲中國大數(shù)據(jù)平臺市場第一 2023年7月26日，全球領先的IT研究和咨詢公司國際數(shù)據(jù)公司（IDC）發(fā)布最新的《中國大數(shù)據(jù)平臺市場份額，2022》報告，2022年，華為云位居中國大數(shù)據(jù)平臺整體市場（私有化部署+公有云服務）第一，這也是華為云第三次獲得該市場第一
華為云湖倉一體架構(gòu)基于華為云FusionInsight智能數(shù)據(jù)湖方案打造，提供6萬+大規(guī)模MRS云原生數(shù)據(jù)湖，幫助客戶從傳統(tǒng)大數(shù)據(jù)和數(shù)倉方案向“一湖+多樣集市+數(shù)據(jù)智能”分層建設演進，在全局一份數(shù)據(jù)的基礎上還提供DWS高性能云數(shù)據(jù)倉庫、GES萬億級圖引擎、TICS可信智能計算，以及
華為云再獲中國大數(shù)據(jù)平臺市場第一 新聞報道 四年蟬聯(lián)！
數(shù)字政府當前的建設更加聚焦數(shù)據(jù)的驅(qū)動，強調(diào)全量數(shù)據(jù)的采集、存儲和處理，對大數(shù)據(jù)平臺非結(jié)構(gòu)化的數(shù)據(jù)處理能力提出新的要求 · 數(shù)據(jù)湖與數(shù)據(jù)倉庫技術(shù)融合。
新聞報道 了解華為云最新動態(tài) 了解華為云 新聞報道 Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 新聞報道 Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 2025-09-10 近日，全球領先的IT市場研究和咨詢公司IDC發(fā)布《中國大數(shù)據(jù)平臺市場份額，2024
Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 報告簡介 IDC發(fā)布《中國大數(shù)據(jù)平臺市場份額，2024: 全面為AI轉(zhuǎn)型》。
方案概述 應用場景 農(nóng)業(yè)大數(shù)據(jù)平臺產(chǎn)品以華為云為底座，為種植基地面向生產(chǎn)過程提供了從備耕、春播、夏長、秋收、冬藏全程all-in-one的數(shù)據(jù)平臺；為縣域農(nóng)業(yè)政府部門進一步摸清農(nóng)業(yè)資產(chǎn)底數(shù)及其承載力，形成區(qū)域農(nóng)業(yè)產(chǎn)業(yè)現(xiàn)狀全景圖。
?AI基礎架構(gòu)成為企業(yè)重要的混合云基礎架構(gòu) 基于混合云平臺基礎設施即服務（IaaS）和平臺即服務（PaaS）構(gòu)建的AI基礎架構(gòu)具備云平臺本身分布式、高可用的技術(shù)特性，同時基于云原生的構(gòu)建方式，AI基礎架構(gòu)能夠幫助企業(yè)快速搭建支撐不同業(yè)務的AI應用平臺，在生成式AI高速發(fā)展時期持續(xù)進行大模型的創(chuàng)新
應用部署 添加國內(nèi)docker/epel 的yum源，并生成緩存： # vim /etc/yum.repos.d/docker.repo [docker-ce-stable] name=Docker CE Stable - mirrors.huaweicloud.com/docker-ce
華為云MRS對接OBS 對接步驟 配置存算分離集群。 詳細操作，請參見使用委托方式配置存算分離集群。 使用存算分離集群。 詳細操作，請參見使用存算分離集群。 父主題： 對接大數(shù)據(jù)平臺
修訂記錄 表1 修訂記錄 發(fā)布日期 修訂記錄 2024-04-19 規(guī)范詞、敏感詞專項處理，章節(jié)優(yōu)化 2022-10-14 第一次正式發(fā)布。
實施步驟 云服務資源準備 應用部署
資源和成本規(guī)劃 表1 資源和成本規(guī)劃內(nèi)容說明 產(chǎn)品 計費模式 購買量 單位 購買個數(shù) 規(guī)格 費用 彈性云服務器 1 包年 1 年 4 X86計算 | 通用計算增強型 | c6.4xlarge.4 | 16核 | 64GB; CentOS | CentOS 8.2 64bit; 通用型
云服務資源準備 VPC&子網(wǎng)&安全組 虛擬私有云（Virtual Private Cloud，簡稱VPC），為云服務器、云容器、云數(shù)據(jù)庫等資源構(gòu)建隔離的、用戶自主配置和管理的虛擬網(wǎng)絡環(huán)境，提升用戶云上資源的安全性，簡化用戶的網(wǎng)絡部署。
core-site.xml配置完成后“重啟”Hive集群，再重啟Hive集群的“部署客戶端配置”。 父主題： 對接大數(shù)據(jù)平臺
當時鐘齒輪轉(zhuǎn)到21世紀時，互聯(lián)網(wǎng)又掀起了數(shù)字經(jīng)濟革命，以云計算為平臺，配合大數(shù)據(jù)和人工智能，為下個百年變革充當急先鋒。 當亞馬遜（AWS）于2006年首次推出云服務時，它只有一套基礎架構(gòu)服務，用于虛擬服務器的彈性計算和用于文件存儲，企業(yè)的核心關(guān)鍵應用對它還是敬而遠之。
