日志采集方式
采集主機日志
云日志服務(wù)可以將主機待采集日志的路徑配置到日志流中,ICAgent將按照日志采集規(guī)則采集日志,并將多條日志進行打包,以日志流為單位發(fā)往云日志服務(wù),您可以在云日志服務(wù)控制臺實時查看日志。
采集云服務(wù)日志
云日志服務(wù)(LTS)支持采集計算、容器、安全與合規(guī)等華為云云產(chǎn)品的日志數(shù)據(jù),包括云服務(wù)器 ECS、云容器引擎 CCE、Web應(yīng)用防火墻 WAF、應(yīng)用運維管理 AOM等。
API采集日志
云日志服務(wù)提供接口,可以采集主機上報租戶的日志。
SDK采集日志
云日志服務(wù)SDK提供了Java語言上報日志的一系列方法,方便用戶直接使用編碼方式上報日志到云日志服務(wù)后臺。
日志轉(zhuǎn)儲方式
轉(zhuǎn)儲至對象存儲服務(wù)OBS
轉(zhuǎn)儲OBS后提供日志存儲功能,長期保存日志。
轉(zhuǎn)儲至數(shù)據(jù)接入服務(wù)DIS
轉(zhuǎn)儲DIS提供日志長期存儲能力和豐富的大數(shù)據(jù)分析能力。DIS可以將大量日志文件傳輸?shù)皆贫俗鰝浞荩M行離線分析、存儲查詢及機器學(xué)習(xí),還能用于數(shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時大量小文本文件可合并轉(zhuǎn)儲為大文件,提高數(shù)據(jù)處理性能。
轉(zhuǎn)儲至分布式消息服務(wù)DMS
轉(zhuǎn)儲DMS通過分布式消費服務(wù)API處理日志。分布式消息服務(wù) DMS提供日志實時處理管道,您可以通過分布式消息服務(wù)API實時消費處理日志。
轉(zhuǎn)儲至數(shù)據(jù)倉庫服務(wù)DWS
數(shù)據(jù)倉庫服務(wù)GaussDB(DWS) 是一種基于華為云基礎(chǔ)架構(gòu)和平臺的在線數(shù)據(jù)處理數(shù)據(jù)庫,提供即開即用、可擴展且完全托管的分析型數(shù)據(jù)庫服務(wù)。轉(zhuǎn)儲至數(shù)據(jù)倉庫服務(wù)GaussDB(DWS) ,可以將日志中的結(jié)構(gòu)化字段轉(zhuǎn)儲到DWS數(shù)據(jù)庫表中,您可以根據(jù)業(yè)務(wù)場景選擇是否使用DWS進行日志轉(zhuǎn)儲。
云日志服務(wù)基本功能
實時采集日志
云日志服務(wù)提供實時日志采集功能,采集到的日志數(shù)據(jù)可以在云日志控制臺以簡單有序的方式展示、方便快捷的方式進行查詢,并且可以長期存儲。
采集到日志數(shù)據(jù)按照結(jié)構(gòu)化和非結(jié)構(gòu)化進行分析。結(jié)構(gòu)化日志是通過規(guī)則將日志流中的日志進行處理,提取出來有固定格式或者相似度高的日志內(nèi)容做結(jié)構(gòu)化的分類。這樣就可以采用SQL的語法進行日志的查詢。
日志查詢與實時分析
對采集的日志數(shù)據(jù),可以通過關(guān)鍵字查詢、模糊查詢等方式簡單快速地進行查詢,適用于日志實時數(shù)據(jù)分析、安全診斷與分析、運營與客服系統(tǒng)等,例如云服務(wù)的訪問量、點擊量等,通過日志數(shù)據(jù)分析,可以輸出詳細(xì)的運營數(shù)據(jù)。
日志監(jiān)控與告警
云日志服務(wù)結(jié)合應(yīng)用運維管理(Application Operations Management,簡稱AOM),支持對存儲在云日志服務(wù)中的日志數(shù)據(jù)進行關(guān)鍵詞統(tǒng)計,通過在一定時間段內(nèi)日志中關(guān)鍵字出現(xiàn)次數(shù),實時監(jiān)控服務(wù)運行狀態(tài)。
日志轉(zhuǎn)儲
主機和云服務(wù)的日志數(shù)據(jù)上報至云日志服務(wù)后,默認(rèn)存儲時間為7天,可以在1-30天之間進行設(shè)置。超出存儲時間的日志數(shù)據(jù)將會被自動刪除,對于需要長期存儲的日志數(shù)據(jù)(日志持久化),云日志服務(wù)提供轉(zhuǎn)儲功能,可以將日志轉(zhuǎn)儲至對象存儲服務(wù)(OBS)、數(shù)據(jù)接入服務(wù)(DIS)中長期保存。日志轉(zhuǎn)儲基于復(fù)制的轉(zhuǎn)儲機制,在LTS設(shè)置的存儲時間內(nèi)轉(zhuǎn)儲至OBS的日志,不會在LTS被刪除。
云日志服務(wù)應(yīng)用場景
日志采集與分析
主機和云服務(wù)的日志數(shù)據(jù),不方便查閱并且會定期清空。云日志服務(wù)采集日志后,日志數(shù)據(jù)可以在云日志控制臺以簡單有序的方式展示、方便快捷的方式進行查詢,并且可以長期存儲。對采集的日志數(shù)據(jù),可以通過關(guān)鍵字查詢、模糊查詢等方式簡單快速地進行查詢,適用于日志實時數(shù)據(jù)分析、安全診斷與分析、運營與客服系統(tǒng)等,例如云服務(wù)的訪問量、點擊量等,通過日志數(shù)據(jù)分析,可以輸出詳細(xì)的運營數(shù)據(jù)。
合理優(yōu)化業(yè)務(wù)性能
網(wǎng)站服務(wù)(數(shù)據(jù)庫、網(wǎng)絡(luò)等)的性能和服務(wù)質(zhì)量是衡量用戶滿意度的關(guān)鍵指標(biāo),通過用戶的擁塞記錄日志發(fā)現(xiàn)站點的性能瓶頸,以提示站點管理者改進網(wǎng)站緩存策略、網(wǎng)絡(luò)傳輸策略等,合理優(yōu)化業(yè)務(wù)性能。例如:
分析歷史網(wǎng)站數(shù)據(jù),構(gòu)建業(yè)務(wù)網(wǎng)絡(luò)基準(zhǔn)。
及時發(fā)現(xiàn)業(yè)務(wù)性能瓶頸,合理擴容或流量降低。
分析網(wǎng)絡(luò)流量,優(yōu)化網(wǎng)絡(luò)安全策略。
快速定位網(wǎng)絡(luò)故障
網(wǎng)絡(luò)質(zhì)量是業(yè)務(wù)穩(wěn)定的基石,將日志上報至云日志服務(wù),確保問題發(fā)生時能及時查看、定位問題,助力您快速定位網(wǎng)絡(luò)故障,進行網(wǎng)絡(luò)回溯取證。例如:
快速定位問題根源的云服務(wù)器,例如帶寬過度使用的云服務(wù)器。
通過分析訪問日志,判斷業(yè)務(wù)是否遭到了攻擊、非法盜鏈和不良請求等,及時定位并解決問題。