方案概述
云上用戶經(jīng)常會遇到多云或者跨Region采集Kubernetes日志場景，典型場景有兩種，分別是：
場景一：將互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Data Center，以下簡稱IDC）或者第三方云廠商的日志采集到華為云 LTS 。
場景二：將華為云RegionA的日志采集到華為云RegionB的LTS。
對于場景一和場景二，您需要先打通網(wǎng)絡(luò)，再安裝ICAgent，最后按照日志接入向?qū)Ъ纯梢詫⑷罩静杉絃TS。
ICAgent：ICAgent是華為 云日志 服務(wù)的日志采集器，通過在主機(jī)上安裝ICAgent，您可以將日志采集到LTS。安裝ICAgent前，請確保本地瀏覽器的時間、時區(qū)與主機(jī)的時間、時區(qū)一致。
網(wǎng)絡(luò)互通：
場景一：自建IDC或者第三方云廠商與華為云之間網(wǎng)絡(luò)互通的典型方式是 云專線 DC，如果沒有專線，您可以嘗試VPN/ 公網(wǎng)IP 方式。
場景二：華為云不同Region之間網(wǎng)絡(luò)互通典型的方式是 云連接 CC/云專線DC，您也可以使用VPN/公網(wǎng)IP方式。
跳板機(jī)
安裝在自建IDC/第三方云廠商/跨華為云Region的ICAgent無法直接訪問華為云管理面上報日志的網(wǎng)段，需要配置跳板機(jī)進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)；當(dāng)您在進(jìn)行POC測試，或者日志流量并不大的情況下，可以使用跳板機(jī)的方案。對于大流量的日志場景，如果您希望在生產(chǎn)環(huán)境中去掉跳板機(jī)，請提交工單給華為云網(wǎng)絡(luò)技術(shù)支持工程師幫您設(shè)計網(wǎng)絡(luò)直通的方案。
典型的跳板機(jī)配置是2vCPUs | 4GB，每臺跳板機(jī)可以支持約30MB/s的流量轉(zhuǎn)發(fā)，您可以根據(jù)自身的日志流量配置合理數(shù)量的跳板機(jī)，多臺跳板機(jī)配置ELB進(jìn)行流量分發(fā)。
本文將詳細(xì)介紹將阿里云主機(jī)日志采集到華為云云日志服務(wù)（LTS）的操作步驟，客戶自建IDC和華為云上跨region采集日志的操作方式與采集阿里云主機(jī)日志的方式類似。
以下將阿里云-華北二北京局點(diǎn)的日志采集到華為云華東-上海一局點(diǎn)的LTS服務(wù)，云主機(jī)的操作系統(tǒng)為Linux環(huán)境。
資源規(guī)劃
|
區(qū)域 |
資源 |
資源說明 |
|---|---|---|
|
華東-上海一 |
彈性 云服務(wù)器 ECS |
推薦CentOS 6.5 64bit及其以上版本的 鏡像 ， 最低規(guī)格為1vCPUs | 1GB，推薦規(guī)格為2vCPUs | 4GB。 |
|
彈性負(fù)載均衡 ELB |
|
步驟一：在華為云華東-上海一購買ELB和云主機(jī)作為跳板機(jī)
- 登錄云服務(wù)控制臺，購買彈性云服務(wù)器 ECS。
非華為云上的服務(wù)器安裝ICAgent，需要先在華為云上購買一臺彈性云服務(wù)器作為跳板機(jī)。
- 購買彈性負(fù)載均衡 ELB，并添加TCP監(jiān)聽器和后端服務(wù)器組。
- 添加監(jiān)聽器。分別為TCP端口30200、30201、8149、8923、8102添加監(jiān)聽器，具體請參見添加TCP監(jiān)聽器。
圖3 添加監(jiān)聽器
- 為后端服務(wù)器組添加跳板機(jī)，具體請參見添加后端服務(wù)器。
圖4 添加云服務(wù)器
- 添加監(jiān)聽器。分別為TCP端口30200、30201、8149、8923、8102添加監(jiān)聽器，具體請參見添加TCP監(jiān)聽器。
- 配置跳板機(jī)安全組規(guī)則，并開通轉(zhuǎn)發(fā)端口。
- 修改跳板機(jī)ECS使用的安全組規(guī)則。
- 單擊ECS主機(jī)名稱進(jìn)入詳情頁。
- 在安全組頁簽，單擊具體的安全組名，進(jìn)入安全組詳情頁。
- 在該安全組詳情頁，選擇“入方向規(guī)則”頁簽，單擊“添加規(guī)則 ”。將安全組的入方向端口8149、8102、8923、30200、30201、80開啟，保證非華為云的VM到跳板機(jī)ECS的數(shù)據(jù)連通性。
圖5 修改安全組規(guī)則
- 在云日志服務(wù)控制臺，選擇“主機(jī)管理 > 主機(jī)”，單擊“安裝ICAgent”，進(jìn)入安裝ICAgent詳情頁面。按下圖配置，“跳板機(jī)私有IP”填入ECS私有IP，生成安裝命令。
圖6 安裝ICAgent
- 復(fù)制命令以root用戶登錄跳板機(jī)，執(zhí)行SSH Tunnel轉(zhuǎn)發(fā)命令，根據(jù)命令提示輸入root用戶密碼即可。
- 執(zhí)行netstat -lnp | grep ssh命令查看對應(yīng)端口是否被偵聽，如果返回結(jié)果如下圖所示，說明TCP端口已開通。
- 在瀏覽器地址欄里輸入“http://跳板機(jī)ECS的IP地址”。如果訪問成功，說明安全組規(guī)則已經(jīng)生效。
- 如果跳板機(jī)ECS掉電重啟，請重新執(zhí)行安裝ICAgent頁面生成的安裝命令。如果您在生產(chǎn)環(huán)境中使用，請將上述端口轉(zhuǎn)發(fā)命令配置為開機(jī)啟動任務(wù)。
圖7 查看端口
- 修改跳板機(jī)ECS使用的安全組規(guī)則。
步驟二：配置日志接入
Kubernetes集群在一個節(jié)點(diǎn)上安裝成功即可，不需要所有節(jié)點(diǎn)重復(fù)操作。
請?zhí)崆矮@取AK/SK，請參考獲取華為賬號的AK/SK。
- 配置跳板機(jī)。
- 在彈性云服務(wù)器管理控制臺找到已創(chuàng)建的機(jī)器，獲取私有IP。
圖8 獲取私有IP
- 在 云日志服務(wù)LTS （LTS）控制臺，選擇“主機(jī)管理 > 主機(jī)”，單擊“安裝ICAgent”，進(jìn)入安裝ICAgent詳情頁面，“跳板機(jī)私有IP”填入ECS私有IP，生成安裝口令并復(fù)制。
圖9 安裝ICAgent
- 登錄跳板機(jī)ECS，執(zhí)行上一步的命令并根據(jù)提示輸入節(jié)點(diǎn)密碼，若無報錯，表示安裝成功。
圖10 執(zhí)行生成的安裝命令
- 在“安裝ICAgent”頁面， “跳板機(jī)連接IP”輸入跳板機(jī)的公網(wǎng)ip，確保已勾選“為了避免泄漏您的AK/SK，請勾選此處，執(zhí)行關(guān)閉歷史記錄命令?！?圖11 安裝ICAgent頁面
- 復(fù)制ICAgent安裝命令并在跳板機(jī)ECS上執(zhí)行，根據(jù)提示輸入當(dāng)前賬號的AK、SK，當(dāng)顯示“ICAgent install success”時，表示安裝成功。
- 在彈性云服務(wù)器管理控制臺找到已創(chuàng)建的機(jī)器，獲取私有IP。
- 配置日志接入規(guī)則。具體操作請參考自建K8s應(yīng)用日志接入LTS。
步驟三：查看日志流
在云日志服務(wù)（LTS）的日志管理頁面中，單擊目標(biāo)日志流名稱進(jìn)入詳情頁面，查看有日志即可證明阿里云Kubernetes日志已成功上報到LTS。
