北京2021年9月(yue)22日 /美通社/ --
眼睛大大明察秋毫
卡通小鳥優雅輕巧
工具雖小但絕對能搞定大事兒
一個關注細節的“卡哇伊”啄木鳥形象
這就是Venus
近日,這款身材雖小卻蘊藏大能量的智能工具傳來好消息!作為浪潮云海針對OpenStack平臺在日志存儲、檢索、分析等方面的需求而實力推出的日志管理項目,Venus以全數贊成票通過了OpenStack社區TC團隊的審核,成為國內貢獻OpenStack社區且在智能運維領域的首個正式項目。
貢獻社區的Venus究竟是什么?
概括來說,Venus主要還是取決于大規模部署條件下,針對OpenStack平臺在日志存儲、檢索、分析等方面的核心需求,可以做到一站式滿足日志采集、清洗、索引、分析、告警、可視化、生成報告等,幫助運維人員快速檢索問題,掌握平臺的運行健康度,并在未來計劃引用機器學習算法,快速定位IT故障及根因,提高運維效率以及平臺管理的水平。
具體來說在檢索工作上,Venus主要提供了簡單易用的檢索方式,可以做到檢索一切日志數據,定位日志上下文;在分析上主要實現日志關聯、字段數值統計,提供多場景、多維度的可視化分析報表;告警層面則將搜索轉化為主動告警,實現海量日志中錯誤的“大海撈針”;定位是主要通過建立知識圖譜和調用的鏈式關系,結合算法實現故障的快速定(ding)位。
以下是基于浪潮云海自研OpenStack Dashboard(浪潮云海自研的OpenStack Dashboard已貢獻到木蘭社區,感興趣的小伙伴可以到社區下載集成,功能完善且操作簡易。)集(ji)成Venus的(de)兩(liang)個典型(xing)示例,可參(can)考(kao):
示例1:在云平臺上的虛擬機創建操作未成功,怎樣迅速定位到問題呢?
a.找到創建操作(zuo)的請(qing)求ID,并通過此(ci)跳(tiao)轉到虛(xu)擬機創建調用鏈頁面(mian)。
b. 系統可以(yi)展示(shi)整(zheng)個調(diao)(diao)用(yong)(yong)過程,做(zuo)到清(qing)楚定位(wei)到整(zheng)體調(diao)(diao)用(yong)(yong)鏈錯(cuo)誤日(ri)志的位(wei)置。
示例2:當云平臺出現錯誤日志時,如何將其轉化為告警來提醒運維人員呢?
a. 運維人員收到的(de)日志告(gao)警信息如下(xia):
b. 運維人員可以進一步(bu)成功檢索錯誤日志的詳細信息(xi)和統(tong)計信息(xi)。
表現亮眼的Venus,整體的技術架構如何?
浪潮云海技術研發團隊表示,Venus以Fluented+Elasticsearch為基(ji)礎,深度挖掘日志數據(ju)、固化運維的(de)場景并提(ti)供認證的(de)通用接(jie)口,例如:
采集層:開發(fa)(fa)了(le)基于Fluented的采集任務,針對OpenStack、操作系統、平臺服務等(deng)日志開發(fa)(fa)了(le)讀取、過(guo)濾、格式化(hua)、發(fa)(fa)送等(deng)插件(jian),而且用戶(hu)可(ke)以按需配置。
存儲(chu)層(ceng):采(cai)集并格式(shi)化后日志索(suo)引(yin)至(zhi)Elasticsearch集群中,ES提供副本機(ji)制。即使在(zai)某些服務器宕機(ji)后仍能正常(chang)工作(zuo)(zuo),提高(gao)數據可用(yong)性,同(tong)時存儲(chu)層(ceng)也有(you)Mysql作(zuo)(zuo)為分析結果的存儲(chu)。
Venus_api:api服務主要進行簡單(dan)的(de)業(ye)務處理(li),提(ti)供更簡潔更全面的(de)認證接(jie)口。將(jiang)上層調用轉化為底層Elasticsearch查(cha)詢,并對查(cha)詢的(de)多維度索引數據進行簡單(dan)處理(li),同時將(jiang)結果返回。
Venus_manager:內部(bu)定(ding)(ding)時任(ren)(ren)務(wu)(wu)(wu)模塊,開發(fa)了可配置的(de)定(ding)(ding)時任(ren)(ren)務(wu)(wu)(wu),包括數據清理任(ren)(ren)務(wu)(wu)(wu)、日(ri)(ri)志分析(xi)任(ren)(ren)務(wu)(wu)(wu)、日(ri)(ri)志告警任(ren)(ren)務(wu)(wu)(wu)、調(diao)用鏈分析(xi)任(ren)(ren)務(wu)(wu)(wu)等核心業務(wu)(wu)(wu)處(chu)理任(ren)(ren)務(wu)(wu)(wu)。
展現層:Venus已開發Horizon插(cha)件并且提供(gong)統一接口對(dui)接第三方(fang)系統。
關于Venus的未來,期望可以如此
一直以來(lai)浪潮(chao)云海通過對開源(yuan)開放(fang)技(ji)術的(de)(de)攻堅,突破開源(yuan)版本在性能(neng)、大規(gui)模管(guan)理能(neng)力方面的(de)(de)瓶頸,秉承“源(yuan)于開源(yuan)、饋于開源(yuan)”的(de)(de)理念,助力業界共同(tong)構建開放(fang)統(tong)一的(de)(de)智(zhi)能(neng)基礎設施。
Venus項目旨在(zai)打(da)造一個開放(fang)的(de)(de)OpenStack日(ri)志管理平(ping)臺,集合(he)廣大用戶在(zai)日(ri)志領域(yu)的(de)(de)需求(qiu)和(he)實踐,提供各(ge)場景日(ri)志分析并集成算(suan)法和(he)知(zhi)識圖譜實現(xian)故障(zhang)的(de)(de)快速定位(wei),構(gou)建完(wan)備的(de)(de)日(ri)志運(yun)維(wei)場景,所以Venus模塊會隨OpenStack的(de)(de)Yoga版本發布第一個正式的(de)(de)Release,未來的(de)(de)重點(dian)工作(zuo)將會涉及: