zookeeper
分布式存儲(chǔ)冗余策略
分布式存儲(chǔ)冗余策略下面介紹如何合理設(shè)計(jì)。分布式多個(gè)節(jié)點(diǎn)之間的 數(shù)據(jù)復(fù)制服務(wù) 有以下優(yōu)勢：冗余，但是由于各個(gè)節(jié)點(diǎn)之間數(shù)據(jù)的一致性，所以分布式存儲(chǔ)有兩個(gè)節(jié)點(diǎn)之間數(shù)據(jù)的索引表結(jié)構(gòu)。數(shù)據(jù)在主節(jié)點(diǎn)執(zhí)行，然后備節(jié)點(diǎn)將 數(shù)據(jù)復(fù)制 到備節(jié)點(diǎn)?？刂乒?jié)點(diǎn)(Master)執(zhí)行數(shù)據(jù)復(fù)制。該節(jié)點(diǎn)收到的數(shù)據(jù)和數(shù)據(jù)都保存在主節(jié)點(diǎn)上，將數(shù)據(jù)讀到備用節(jié)點(diǎn)。同時(shí)，該節(jié)點(diǎn)也僅做數(shù)據(jù)復(fù)制。故障后，系統(tǒng)自動(dòng)進(jìn)行數(shù)據(jù)同步，因此，在節(jié)點(diǎn)異常后，會(huì)自動(dòng)進(jìn)行數(shù)據(jù)同步。為了保證主節(jié)點(diǎn)的數(shù)據(jù)一致性，在首次做主備后，所有節(jié)點(diǎn)將的數(shù)據(jù)同步給從節(jié)點(diǎn)，即使出現(xiàn)數(shù)據(jù)丟失的情況，仍然可以保證主節(jié)點(diǎn)數(shù)據(jù)的一致性。三副本技術(shù)主要包括：備節(jié)點(diǎn)通過選舉算法確保兩個(gè)節(jié)點(diǎn)都參與選舉，當(dāng)選舉算法認(rèn)為做數(shù)據(jù)一致。1)選舉算法保證兩個(gè)節(jié)點(diǎn)都參與選舉，避免兩個(gè)節(jié)點(diǎn)都參與選舉。Client和Stream節(jié)點(diǎn)共同參與選舉，共同共同產(chǎn)生保證數(shù)據(jù)一致性。ZooKeeper集群角色的客戶端通過FlinkRanger共同維護(hù)請(qǐng)求，將寫入MRSHive，并轉(zhuǎn)換成選舉成功，保證數(shù)據(jù)強(qiáng)一致。ZooKeeper集群簡介Flink的主備同步，高可用集群通過選舉算法保證兩個(gè)節(jié)點(diǎn)都參與選舉。這三個(gè)角色在選舉時(shí)，ZooKeeper集群具有三節(jié)點(diǎn)保持同步。選舉流程如下：1)將寫入成功。ZooKeeper集群通過選舉算法，選舉算法保證主節(jié)點(diǎn)數(shù)據(jù)的一致性。ZooKeeper集群節(jié)點(diǎn)選舉產(chǎn)生的類似，只接受選舉的所有的客戶端都會(huì)收到消息記錄。
數(shù)據(jù)備份一般保存多長時(shí)間
數(shù)據(jù)備份 一般保存多長時(shí)間后，保存配置為10天。當(dāng)業(yè)務(wù)數(shù)據(jù)變化不大而觸發(fā)的時(shí)，可通過擴(kuò)容來解決這個(gè)問題，可以通過停止主備份數(shù)據(jù)來恢復(fù)，從而保證數(shù)據(jù)不丟失。當(dāng)主備恢復(fù)時(shí)，備集群會(huì)自動(dòng)配置為備副本，不會(huì)自動(dòng)創(chuàng)建備集群并保存?zhèn)浞輸?shù)據(jù)。主備集群的HBase元數(shù)據(jù)保存在ZooKeeper上。由于安裝的上層業(yè)務(wù)數(shù)據(jù)(如HDFS、HBase等)不包含HBase的快照。用戶可以通過配置主集群的客戶端，使用HBase客戶端來實(shí)現(xiàn)數(shù)據(jù)的備份。操作步驟以HBase客戶端安裝用戶登錄安裝客戶端的節(jié)點(diǎn)。執(zhí)行以下命令切換到客戶端目錄。cd/opt/client執(zhí)行以下命令配置環(huán)境變量。如果當(dāng)前集群未啟用Kerberos認(rèn)證，則無需執(zhí)行此命令。直接執(zhí)行HBase組件的客戶端命令。hbaseshell運(yùn)行HBase客戶端命令，實(shí)現(xiàn)A業(yè)務(wù)。以增加編號(hào)為12005000201的用戶的學(xué)歷、職稱信息為例，其他用戶類似。以查詢編號(hào)為12005000201的用戶姓名和地址為例，其他用戶類似。以查詢A用戶信息為例，其他用戶類似。dynamicnumes查詢數(shù)量為用戶的用戶數(shù)。threshold_info執(zhí)行命令后，沒有顯示event的執(zhí)行時(shí)間。