應用

技術

物聯(lián)網世界 >> 物聯(lián)網新聞 >> 物聯(lián)網熱點新聞
企業(yè)注冊個人注冊登錄

由“易”至“智”:漸成標配的日志管理賦能企業(yè)應對新挑戰(zhàn)

2023-09-11 10:42 ENI經濟和信息化網

導讀:在企業(yè)數(shù)字化轉型逐漸進入加速期,IT應用日益深入、擴大的當下,云大物移智邊端等數(shù)字技術落地企業(yè)漸成常態(tài)。

日志數(shù)據(jù)分散,存儲環(huán)境復雜,集中管理難;

在業(yè)務系統(tǒng)不受干擾的前提下,實時監(jiān)控難;

熔斷信息發(fā)現(xiàn)滯后,及時通知難。此外,核心業(yè)務監(jiān)控不足,不能精細化分析;

不能滿足合規(guī)審計需求;

故障排除慢,系統(tǒng)運維效率低;用戶數(shù)據(jù)難以掌控……

對于此類問題,大多數(shù)企業(yè)的IT管理人都可以下意識地給出解法,那就是企業(yè)需要部署或者優(yōu)化自身的日志管理能力。然而,在企業(yè)數(shù)字化轉型逐漸進入加速期,IT應用日益深入、擴大的當下,云大物移智邊端等數(shù)字技術落地企業(yè)漸成常態(tài)。在這樣的背景下,一方面,日志管理已然成為剛需,大有標配之勢;另一方面,云、容器技術、IoT等應用,帶來了數(shù)據(jù)量的急劇增加,數(shù)據(jù)形態(tài)的多元化,這對日志數(shù)據(jù)的采集、存儲、分析等帶來了更多新的挑戰(zhàn)。

“與此同時,企業(yè)在這個過程中逐漸發(fā)現(xiàn)日志數(shù)據(jù)的價值,并將其視為‘數(shù)據(jù)驅動業(yè)務’的引擎之一,這對日志管理產品的分析功能和價值落地提出了更高的要求?!?strong>北京優(yōu)特捷信息技術有限公司(以下簡稱日志易)技術副總裁黃俊毅在接受ENI經濟和信息化網采訪時概括道:“也就是說,日志管理不僅要助力企業(yè)應對挑戰(zhàn),還要讓企業(yè)數(shù)智化創(chuàng)新‘如虎添翼’。

技術+信創(chuàng):助力企業(yè)應對IT挑戰(zhàn)

日志管理的功能在當下已是耳熟能詳:滿足等保審計、留存要求,運維監(jiān)控,安全運營,運營分析這四項是大多數(shù)日志管理工具所具備的基本功能。技術能力及對企業(yè)需求的把控,決定了日志管理相關產品實現(xiàn)其功能所覆蓋的廣度、深度及落地價值。

依托日志易多年深耕日志管理領域的經驗,黃俊毅以不同階段企業(yè)對于日志管理的需求,應對需求的技術及產品的發(fā)展歷程,介紹了日志管理在技術加持之下,由難到易、由慢到快、由簡單收集、監(jiān)控到關聯(lián)分析的演進過程。

十年前,日志管理剛剛起步的階段,功能更加傾向于滿足留存審計的需求,IT系統(tǒng)相對較少,數(shù)據(jù)有限,企業(yè)主要采用數(shù)據(jù)庫的方式收集及存儲日志。隨著IT系統(tǒng)的逐漸增多,數(shù)據(jù)量快速增長,數(shù)據(jù)庫已是難承其重。在這個階段,日志易等日志管理廠商開始使用開源搜索引擎技術進行日志收集和分析。直到今天搜索引擎軟件ES(Elasticsearch)依然為諸多企業(yè)及日志管理產品商所采用。

然而ES技術作為舶來品,以及分析功能較弱的特點,導致一方面,對部分日志數(shù)據(jù)進行分析的安全法要求難以落地,基于安全考慮采用自主創(chuàng)新產品的需求不能滿足。另外一方面,由于產品分析功能的缺失,導致企業(yè)的日志管理面臨一系列的挑戰(zhàn)。

比如,在統(tǒng)一日志管理方面,傳統(tǒng)日志管理平臺日志查詢方式原始、效率低下,無法基于日志進行深層次的業(yè)務邏輯分析和告警,同時缺乏安全可控的日志管理手段等。在運維監(jiān)控分析方面,傳統(tǒng)管理平臺性能弱,難以靈活實現(xiàn)跨部門協(xié)作、響應。監(jiān)控遲緩、運維被動響應,監(jiān)控維度粗獷,故障排查方式落后等;在安全運營方面,綜合分析能力薄弱,告警降噪能力不足,聯(lián)動處理自動化不足,告警結果未與安全設備形成聯(lián)動,新技術、新架構覆蓋范圍和檢測技術不足,如容器、微服務等,日志處理能力不足,海量日志溯源效率低,未能做到全攻擊鏈日志采集。

正是基于對企業(yè)需求及挑戰(zhàn)前瞻性的思考,較早采用開源搜索引擎技術之一的日志易又先行一步“改弦易張”,2018年,日志易自主研發(fā)的日志搜索分析引擎Beaver上線,強化了分析功能、每天可處理PB級日志、實現(xiàn)了國產自研,性能數(shù)倍于國外開源軟件的同時,還可以為企業(yè)節(jié)省50%以上的成本。經過數(shù)年技術的打磨與實踐,如今擁有成熟產品矩陣、自主創(chuàng)新的日志易“機器大數(shù)據(jù)智能平臺”在金融及制造等行業(yè)助力企業(yè)應對IT挑戰(zhàn),打造了諸多創(chuàng)新應用場景。

日志易“機器大數(shù)據(jù)智能平臺”

智能分析加持:企業(yè)數(shù)字化運營“如虎添翼”

“數(shù)據(jù)驅動”是企業(yè)數(shù)字化轉型的目標,也是實現(xiàn)企業(yè)降本增效的重要路徑。隨著企業(yè)進入由數(shù)致智的轉型新階段,“數(shù)據(jù)驅動”的范疇不斷擴大及深化。在這個過程中,加持了智能分析功能的日志管理平臺,為運維、安全、運營分析領域落地“日志數(shù)據(jù)驅動”場景及“如虎添翼”價值發(fā)揮了決定性的作用。

對于用戶比較關注的功能邊界問題,黃俊毅逐一進行了分析介紹。比如在運維及安全領域,一些網絡管理的產品或者系統(tǒng),發(fā)揮的是對硬件設施或者CPU內存的監(jiān)控,而日志數(shù)據(jù)的分析更擅長于業(yè)務類的指標監(jiān)控,比如交易量、請求量、耗時等等。在故障臺賬方面,網管及日志發(fā)現(xiàn)的問題,最終的目標是定位問題,在這個方面日志數(shù)據(jù)對于網管系統(tǒng)是一個補充,雙方是互補的關系。在實時運營分析層面,傳統(tǒng)的BI分析主要基于結構化數(shù)據(jù),對于非結構化數(shù)據(jù)(包括IT 系統(tǒng)和設備的運行數(shù)據(jù),甚至一些物聯(lián)網數(shù)據(jù)等)則很少使用,實時性較差。而日志涉及到非結構化數(shù)據(jù)來源更廣泛、數(shù)據(jù)量更豐富,可以與傳統(tǒng)的業(yè)務分析數(shù)據(jù)形成互補,為企業(yè)展現(xiàn)更全面、精準的業(yè)務狀況,促進業(yè)務優(yōu)化。

而在金融、汽車、能源等產業(yè),圍繞日志數(shù)據(jù)進行的智能運營分析在提升核心業(yè)務運營決策、用戶體驗,提高良品率、車聯(lián)網前端運營等方面,創(chuàng)新場景及成果也在持續(xù)地落地過程中。

在金融行業(yè),包括農信銀通過日志易實時監(jiān)控業(yè)務狀態(tài)、更快定位故障,交易耗時分析用時減少了97%,監(jiān)控大屏展示延遲縮短了98%,異常感知及定位耗時減少了90%,熔斷信息查詢定位,用時縮短了90%;江蘇銀行借助日志易實時監(jiān)控業(yè)務狀態(tài),提升了服務保障與用戶體驗;大家保險通過構建智能日志中心平臺,挖掘數(shù)據(jù)資產價值,提升了核心業(yè)務運營決策效率。

在汽車行業(yè),隨著智能網聯(lián)新能源汽車的快速發(fā)展,企業(yè)部署了一系列大數(shù)據(jù)系統(tǒng),車輛越多,系統(tǒng)負載的數(shù)據(jù)量就越大,每天可以產生幾十到上百TB。早期,日志易與車企的合作重點在于保障系統(tǒng)的穩(wěn)定運行,監(jiān)控請求的耗時、成功率等等運維相關的工作。隨著日志易平臺分析功能的日益增強,其與客戶合作的范疇延伸至車聯(lián)網、車載等前端內部狀態(tài)數(shù)據(jù)。

除此之外,工業(yè)產線分析也是日志易平臺分析功能發(fā)揮的重要舞臺之一,在實施運維的同時,通過對產線重要節(jié)點精準數(shù)據(jù)的分析,幫助企業(yè)及時發(fā)現(xiàn)問題,實現(xiàn)質量追溯,提高良品率及生產效率。

作為日志管理核心功能之一,應對制造業(yè)越來越高的數(shù)據(jù)安全需求,日志易強化了用戶行為分析和數(shù)據(jù)泄露分析功能,提升了企業(yè)的監(jiān)控能力,滿足了其安全的需求。

專精特新小巨人:下一步發(fā)力的新起點

2021年,日志易入選工信部專精特新“小巨人”企業(yè),除此之外,日志易已經當選信創(chuàng)工委會大數(shù)據(jù)組組長,獲得35項發(fā)明專利、18項外觀專利,還有國家高新技術企業(yè)、中關村前沿企業(yè)、德勤北京“朝陽明日之星”等多個榮譽傍身。而“小巨人”的入選條件,不僅是對日志易產品技術、公司價值及發(fā)展?jié)摿Φ恼J可,更是對企業(yè)能力的總結:10年專注于日志管理領域,市場占有率高;研發(fā)能力強,不斷創(chuàng)新,擁有Beaver自研高性能搜索引擎、SPL低代碼語言支持300多種函數(shù)、指令,可對不同時段、不同類型數(shù)據(jù)進行關聯(lián)分析,對于產業(yè)鏈強鏈補鏈成果明顯;自主品牌且具有競爭優(yōu)勢。

日志易智能日志中心

近年來,在這個新的起點之上,日志易在產品研發(fā)、平臺智能化等方面持續(xù)發(fā)力,中國本土豐富的用戶資源,政府對于數(shù)字經濟的持續(xù)推進等態(tài)勢為日志易平臺的推廣及不斷優(yōu)化提供良好的土壤。

談及產業(yè)發(fā)展趨勢及日志易下一步提升的方向,黃俊毅提到,云原生等創(chuàng)新趨勢對于日志平臺搜索引擎的分級部署、關聯(lián)搜索、關聯(lián)分析等功能提出了更高的要求,日志易機器數(shù)據(jù)智能分析平臺已經能夠完全滿足這種新形式下的日志管理需求。對于時下熱門的大模型技術,日志易已經開始了關注和探索,以期進一步提升平臺的智能化能力,持續(xù)滿足不同階段企業(yè)對于日志管理的需求和期待。