實(shí)踐場景

用戶體驗(yàn)至上的互聯(lián)網(wǎng)時代，頁面的響應(yīng)速度、訪問時延和頁面的訪問成功率常常會影響用戶的體驗(yàn)，如果無法及時獲知，就會導(dǎo)致流失大量用戶，某商城的運(yùn)維人員使用開源的監(jiān)控軟件，雖然能采集很多指標(biāo)，但卻分散在各處，無法統(tǒng)一展示。

解決方案

AOM 能夠?qū)崿F(xiàn)云上應(yīng)用的一站式立體化運(yùn)維管理，在接入中心中可以接入需要監(jiān)控的業(yè)務(wù)層、應(yīng)用層、Prometheus中間件層等指標(biāo)，在儀表盤中實(shí)現(xiàn)個性化監(jiān)控，以及通過統(tǒng)一告警入口配置告警規(guī)則，實(shí)現(xiàn)業(yè)務(wù)的日常巡檢，保障業(yè)務(wù)的正常運(yùn)行。

前提條件

• 已將ELB日志接入 LTS 。
• 已為環(huán)境關(guān)聯(lián) ECS 資源。

步驟一：建設(shè)指標(biāo)體系

1. 接入業(yè)務(wù)層指標(biāo)。
   1. 登錄AOM 2.0控制臺。
   2. 在左側(cè)導(dǎo)航欄中選擇“接入中心 > 接入中心”。

      如果您進(jìn)入的是新版接入中心，需要單擊“接入中心”頁面右上角“返回舊版”返回至舊版接入中心頁面。

   3. 在右側(cè)“業(yè)務(wù)層”面板單擊需要接入的指標(biāo)卡片。
      • 接入ELB日志指標(biāo)
        1. 系統(tǒng)可自動接入，無需用戶手動操作。
        2. 在左側(cè)導(dǎo)航欄“儀表盤 > 儀表盤”頁面，選擇已創(chuàng)建的儀表盤，單擊頁面右上角的，在“日志源”頁簽輸入對應(yīng)SQL語句，即可在儀表盤中查看該日志指標(biāo)。以查看流量指標(biāo)為例，輸入對應(yīng)SQL語句，單擊“查詢”，如圖1所示。
        圖1 查看流量指標(biāo)
        
      • 接入 APM 事務(wù)指標(biāo)
        1. 為工作負(fù)載安裝APM探針，具體操作請參見安裝APM探針。
        2. 安裝完成后，請登錄安裝探針的服務(wù)對應(yīng)的控制臺界面，執(zhí)行操作觸發(fā)APM事務(wù)指標(biāo)的采集。以本實(shí)踐場景中的商城服務(wù)為例，可以在商城操作界面將對應(yīng)商品添加到購物車。
        3. 登錄AOM 2.0控制臺。
        4. 在左側(cè)導(dǎo)航欄選擇“指標(biāo)瀏覽”。在右側(cè)區(qū)域通過選擇指標(biāo)的方式查看接入的APM指標(biāo)。

2. 接入應(yīng)用層指標(biāo)。
   1. 為工作負(fù)載安裝APM探針，具體操作如下：
      1. 登錄 CCE 控制臺，單擊集群名稱進(jìn)入集群。
      2. 在左側(cè)導(dǎo)航欄中選擇“工作負(fù)載 ”，選擇需要上報到AOM的工作負(fù)載類型。
      3. 單擊工作負(fù)載名稱，選擇“性能管理配置”，單擊右下角“編輯”，修改“性能管理配置”相關(guān)信息。
      4. 選擇“APM 2.0探針”，設(shè)置“探針版本”為“l(fā)atest-x86”，“APM環(huán)境”為“phoenixenv1”，從“APM應(yīng)用”的下拉列表中選擇創(chuàng)建的“phoenixapp1”應(yīng)用。
      5. 設(shè)置完成后，單擊“保存”。
   2. 安裝完成后，請登錄安裝探針的服務(wù)對應(yīng)的控制臺界面，執(zhí)行操作觸發(fā)應(yīng)用層指標(biāo)的采集。以本實(shí)踐場景中的商城服務(wù)為例，可以在商城操作界面將對應(yīng)商品添加到購物車。
   3. 登錄AOM 2.0控制臺。
   4. 在左側(cè)導(dǎo)航欄選擇“指標(biāo)瀏覽”。在右側(cè)區(qū)域通過選擇指標(biāo)的方式查看接入的應(yīng)用層指標(biāo)。

3. 接入中間件指標(biāo)。
   1. 將數(shù)據(jù)上傳到E CS 服務(wù)器。
      1. 下載mysqld_exporter-0.14.0.linux-amd64.tar.gz軟件包，下載地址：https://prometheus.io/download/。
      2. 以root用戶登錄ECS服務(wù)器，將下載的Exporter軟件包上傳到ECS服務(wù)器并解壓。
      3. 登錄RDS控制臺，在“實(shí)例管理”界面實(shí)例列表中單擊一個RDS實(shí)例名。在“基本信息”界面查看RDS安全組。
         圖2 查看RDS安全組
         
      4. 檢查RDS的安全組是否已開放3306端口。
         圖3 檢查RDS端口是否開放
         
      5. 執(zhí)行以下命令，進(jìn)入解壓文件夾，并在ECS服務(wù)器上配置mysql.cnf文件。

         cd mysqld_exporter-0.14.0.linux-amd64 vi mysql.cnf

         例如，在mysql.cnf文件中添加如下內(nèi)容：

         [client]

         user=root（rds用戶名）

         password=****（rds密碼）

         host=192.168.0.198（rds 公網(wǎng)IP ）

         port=3306（端口）

      6. 執(zhí)行以下命令，啟動mysqld_exporter工具。

         nohup ./mysqld_exporter --config.my-cnf="mysql.cnf" --collect.global_status --collect.global_variables &

      7. 執(zhí)行以下命令，確認(rèn)工具是否正常啟動。

         curl http://127.0.0.1:9104/metrics

         如果回顯信息如圖4所示，能夠查看到指標(biāo)則說明工具啟動正常。

         圖4 查看指標(biāo)
         
   2. 通過虛機(jī)接入方式接入中間件指標(biāo)。
      1. 登錄AOM 2.0控制臺。
      2. 在左側(cè)導(dǎo)航欄選擇“全局設(shè)置”，在全局設(shè)置頁面左側(cè)導(dǎo)航欄選擇“UniAgent管理”。
      3. 在“UniAgent管理”界面為ECS服務(wù)器安裝UniAgent采集工具，具體操作請參見手動安裝UniAgent。

         如果您進(jìn)入的是新版UniAgent管理界面，需要單擊頁面右上角“返回舊版”返回至舊版UniAgent管理界面。

      4. 在左側(cè)導(dǎo)航欄中選擇“接入中心 > 接入中心”，在右側(cè)“Prometheus 中間件”面板單擊需要接入的指標(biāo)卡片。
      5. 在彈框中配置采集任務(wù)和安裝Exporter，詳細(xì)操作請參見虛機(jī)場景Exporter接入。
      6. 完成后，單擊“立即創(chuàng)建”。
   3. 接入完成后，在左側(cè)導(dǎo)航欄，選擇“指標(biāo)瀏覽”。在右側(cè)區(qū)域通過選擇指標(biāo)的方式查看接入的中間件指標(biāo)。

4. 接入其他層級指標(biāo)。以下以接入容器指標(biāo)和云服務(wù)指標(biāo)為例，其他類型指標(biāo)接入請參考接入AOM。
   1. 登錄AOM 2.0控制臺。
   2. 在左側(cè)導(dǎo)航欄中選擇“接入中心 > 接入中心”。
   3. 在右側(cè)“Prometheus 運(yùn)行環(huán)境”與“Prometheus 云服務(wù)”面板單擊需要接入的指標(biāo)卡片。
      • 選擇容器指標(biāo)卡片：

        以選擇“ 云容器引擎 CCE”卡片為例， 云容器 引擎CCE在購買后集群后默認(rèn)已經(jīng)安裝ICAgent采集器。

      • 選擇云服務(wù)監(jiān)控指標(biāo)卡片：
        1. 單擊云服務(wù)卡片，在彈出的對話框中選擇需要監(jiān)控的云服務(wù)。例如RDS或DCS服務(wù)。
        2. 選擇“企業(yè)項(xiàng)目”和“Prometheus For 云服務(wù)實(shí)例”?！癙rometheus For 云服務(wù)實(shí)例”此處灰化不可選，默認(rèn)選擇為所選“企業(yè)項(xiàng)目”下的云服務(wù)類型Prometheus實(shí)例。
        3. 單擊“立即接入”完成接入。
   4. 接入完成后，在左側(cè)導(dǎo)航欄選擇“指標(biāo)瀏覽”。在右側(cè)區(qū)域通過選擇指標(biāo)的方式查看接入的指標(biāo)。

步驟二：配置統(tǒng)一監(jiān)控大盤

1. 創(chuàng)建指標(biāo)告警規(guī)則。

   通過指標(biāo)告警規(guī)則可對資源的指標(biāo)設(shè)置閾值條件。當(dāng)指標(biāo)數(shù)據(jù)滿足閾值條件時產(chǎn)生閾值告警，當(dāng)沒有指標(biāo)數(shù)據(jù)上報時產(chǎn)生數(shù)據(jù)不足事件。

   按照配置方式的不同，創(chuàng)建指標(biāo)告警規(guī)則可分為兩種：按全量指標(biāo)創(chuàng)建和按Prometheus命令創(chuàng)建。下面的操作以按全量指標(biāo)創(chuàng)建為例說明。

   1. 登錄AOM 2.0控制臺。
   2. 在左側(cè)導(dǎo)航欄中選擇“告警中心 > 告警規(guī)則”。
   3. 在“Prometheus監(jiān)控”頁簽單擊“創(chuàng)建告警規(guī)則”。
   4. 設(shè)置告警規(guī)則的規(guī)則名稱等基本信息。
   5. 告警規(guī)則設(shè)置。規(guī)則類型選擇“指標(biāo)告警規(guī)則”，配置方式選擇“全量指標(biāo)”，并在下拉列表中選擇Prometheus實(shí)例。
   6. 設(shè)置告警規(guī)則詳情。

      指標(biāo)的詳細(xì)設(shè)置由統(tǒng)計周期、條件、檢測規(guī)則、觸發(fā)條件以及告警級別組成。指標(biāo)告警的檢測規(guī)則，由統(tǒng)計方式（平均值、最小值、最大值、總計、樣本個數(shù)）、判斷條件（>=、<=、>、<）和閾值組成。例如，統(tǒng)計周期為“1分鐘”，檢測規(guī)則設(shè)置為“平均值>1”，觸發(fā)條件為連續(xù)周期“3”，告警級別為“緊急”，表示連續(xù)三個統(tǒng)計周期，指標(biāo)的平均值大于已設(shè)置的閾值1時，生成緊急告警。

   7. 在“高級設(shè)置”下設(shè)置檢查頻率、告警恢復(fù)等信息。本示例可保持系統(tǒng)默認(rèn)設(shè)置。
   8. 設(shè)置告警通知策略。具體參數(shù)說明請參見表2。
      圖5 告警通知
      

      表2 告警通知策略填寫說明

      參數(shù)名稱	參數(shù)說明	示例
      通知場景	設(shè)置發(fā)送告警通知的場景。系統(tǒng)默認(rèn)選擇“告警觸發(fā)時”和“告警恢復(fù)時”。 告警觸發(fā)時：滿足告警觸發(fā)條件，則以郵件、短信等方式發(fā)送告警通知給指定人員。 告警恢復(fù)時：滿足告警恢復(fù)條件，則以郵件、短信等方式發(fā)送告警通知給指定人員。	保持系統(tǒng)默認(rèn)選擇
      告警方式	直接告警：滿足告警條件，直接發(fā)送告警。選擇直接告警方式，需要設(shè)置通知頻率和是否啟用通知規(guī)則。 通知頻率：發(fā)送告警通知的頻率，請根據(jù)需要從下拉列表中選擇。 通知規(guī)則：啟用通知規(guī)則后，系統(tǒng)根據(jù)關(guān)聯(lián) SMN 主題與消息模板來發(fā)送告警通知。如果現(xiàn)有列表中的通知規(guī)則無法滿足需要，可在下拉列表中單擊“新建告警通知規(guī)則”添加。設(shè)置告警通知規(guī)則的操作詳見告警通知規(guī)則。	告警方式：直接告警 通知頻率：只通知一次 通知規(guī)則：aomtest

   9. 單擊“立即創(chuàng)建”，完成創(chuàng)建。創(chuàng)建完成后，單擊“查看告警規(guī)則”可查看已創(chuàng)建的告警規(guī)則。

      單擊規(guī)則名稱，可查看該告警規(guī)則的詳細(xì)信息。只要監(jiān)控對象滿足設(shè)置的告警條件時，在告警界面就會生成一條指標(biāo)類告警，您可在左側(cè)導(dǎo)航欄中選擇“告警中心 > 告警列表”，在告警列表中查看該告警。只要某個主機(jī)滿足已設(shè)的通知策略，系統(tǒng)就會以郵件、短信或企業(yè)微信等方式發(fā)送告警通知給指定人員。

2. 創(chuàng)建儀表盤。
   1. 新建儀表盤。
      1. 登錄AOM 2.0控制臺。
      2. 在左側(cè)導(dǎo)航欄選擇“儀表盤 > 儀表盤”。
      3. 單擊列表左上角的“添加儀表盤”。
      4. 在彈出的“新建儀表盤”對話框中，設(shè)置相關(guān)參數(shù)。
         將儀表盤綁定到事先創(chuàng)建的應(yīng)用，后續(xù)可以在“應(yīng)用監(jiān)控”頁面可視化監(jiān)控應(yīng)用的關(guān)鍵指標(biāo)。

         圖6 新建儀表盤
         
      5. 設(shè)置完成，單擊“創(chuàng)建”。
   2. 為儀表盤添加可視化圖表。
      1. 在儀表盤列表中，單擊已創(chuàng)建的儀表盤。
      2. 進(jìn)入對應(yīng)儀表盤頁面，單擊頁面右上角的，為該儀表盤添加圖表。請根據(jù)需要，選擇合適的圖表。

         表3 添加圖表

         添加圖表類型	數(shù)據(jù)來源	使用場景
         請?zhí)砑又笜?biāo)圖表	指標(biāo)數(shù)據(jù)	業(yè)務(wù)層、應(yīng)用層、Prometheus 中間件等指標(biāo)。
         請?zhí)砑尤罩緢D表	日志數(shù)據(jù)	監(jiān)控業(yè)務(wù)指標(biāo)或其他日志指標(biāo)，如基于ELB日志清洗出來的接口黃金指標(biāo)（時延、吞吐和錯誤）。

         下面以添加“CPU使用率”的指標(biāo)圖表和“延遲”的日志圖表為例說明。

         • 添加“CPU使用率”的指標(biāo)圖表。

           選擇“CPU使用率”指標(biāo)，設(shè)置完成后，添加的指標(biāo)圖表如圖7所示。

           圖7 添加指標(biāo)圖表
           
         • 添加“延遲”的日志圖表。單擊“日志源”，設(shè)置日志圖表的相關(guān)參數(shù)。
           可直接從圖表中獲取SQL查詢語句：

           1. 在圖表展示區(qū)右上方單擊“展開圖表”。
              圖8 展開圖表
              
           2. 在“可視化圖表”列表中選擇需要監(jiān)控的日志指標(biāo)，例如“延遲”，如圖9所示。
              圖9 選擇日志指標(biāo)
              
           3. 該指標(biāo)對應(yīng)的查詢語句會自動填充到SQL語句設(shè)置區(qū)。
           參數(shù)設(shè)置完成后，單擊“添加至儀表盤”。添加的日志圖表如圖10所示。

           圖10 添加日志圖表
           
      3. 可重復(fù)上面的操作為儀表盤添加多個可視化圖表。添加完成后，單擊，保存儀表盤。