日志管理解決方案的測試和評估作者：valen 出處：IT 專家網(wǎng)2010-08-25 10:24日志管理是所有企業(yè)都應該部署的技術，但卻只有很少的企業(yè)部署了良好的日志管理。收集和分析計算機和設備日志在

日志管理解決方案的測試和評估

作者：valen 出處：IT 專家網(wǎng)2010-08-25 10:24

日志管理是所有企業(yè)都應該部署的技術，但卻只有很少的企業(yè)部署了良好的日志管理。收集和分析計算機和設備日志在很多方面都發(fā)揮著重要作用，包括信息安全、操作管理、應用程序監(jiān)控、系統(tǒng)故障排除和合規(guī)審計等，良好的日志管理解決方案能幫助加強企業(yè)安全。安全審計應該是很多企業(yè)調(diào)查日志管理工具的首要原因。Verizon 公司的“2008年數(shù)據(jù)泄漏調(diào)查報告”(該報告正迅速成為計算機犯罪統(tǒng)計數(shù)據(jù)的最可靠資源) 顯示“82的數(shù)據(jù)泄漏事故在實際事故發(fā)生前就能找到蛛絲馬跡，不管具體使用的是何種類型的事件監(jiān)控，結(jié)果都相同：關于數(shù)據(jù)泄漏攻擊的信息并沒有被通知或者采取行動”。

本文對七種不同的日志管理硬件和軟件解決方案進行了分析，包括ArcSight Logger 4.0、GFI EventsManager v.8.2、 LogLogic MX3020 v.4.9.1、 LogRhythm LR2000-XM v.5.0、 NitroSecurity NitroView ESM and ELM v.8.4、Splunk 4.1.2和Trustwave SIEM。此次產(chǎn)品評估和分析的目的在于讓大家了解日志管理的特性和功能，包括什么功能可以區(qū)分不同解決方案。我們根據(jù)相同評估標準來為每個產(chǎn)品評分(1到10分，10分為最高分) ，這些產(chǎn)品都是互不相同的，屬于不同產(chǎn)品類別。

舉例來說，ArcSight 的單設備Logger 屬于嚴格意義上的日志管理解決方案，因而缺少NitroSecurity 的雙設備SIEM(安全信息和事件管理) 解決方案的很多功能。本文的產(chǎn)品評估僅僅側(cè)重于日志管理功能，并且產(chǎn)品評分表也只反映其日志管理功能。當然，從給定價格的角度來看，解決方案提供更多的功能絕對是好事。

本文評估的產(chǎn)品特性和功能與收集、存儲和審查企業(yè)可能需要密切關注的各種類型事件日志有關。雖然你不需要了解日志管理完整的詳盡的原理信息，但你需要記住日志管理生命

決定使用設備產(chǎn)品，詢問供應商他們是否會及時更新基本操作系統(tǒng)的漏洞修復程序。如果根據(jù)使用條款允許的話，可以考慮在購買前測試產(chǎn)品的漏洞問題。

工作量分配

測試的產(chǎn)品中，大多數(shù)產(chǎn)品都提供一體化功能，也就是說他們的產(chǎn)品可以作為管理控制臺、數(shù)據(jù)采集器、存儲設備、索引(搜索查詢結(jié)果和過濾器) 、報告生成器。此外，大多數(shù)產(chǎn)品都可以配置為提供一個或者多個功能服務，而不需要執(zhí)行所有功能。

如果你要從幾百個客戶端收集日志信息的話，工作量分配無疑是非常重要的。這并不是日志管理產(chǎn)品本身的瓶頸問題，對于設備產(chǎn)品來說，它通常會有四個或者四個以上千兆以太網(wǎng)接口，但是網(wǎng)絡只能夠維持這么多的額外流量才不會造成應用程序和操作性能問題。從1000臺計算機發(fā)送日志信息到一個日志管理器會導致網(wǎng)絡癱瘓。

與供應商合作來解決日志管理工作量分配問題，以最大限度提高系統(tǒng)環(huán)境的性能。本文中的每個產(chǎn)品都可以作為本身的存儲和轉(zhuǎn)發(fā)收集器，這意味著你有一個日志管理層可以在轉(zhuǎn)發(fā)數(shù)據(jù)(通常是壓縮) 到中央日志管理層之前收集所有本地流量。很多產(chǎn)品都可以轉(zhuǎn)發(fā)事件到其他產(chǎn)品，特別是那些支持syslog 和SNMP 的產(chǎn)品。而有幾個產(chǎn)品(包括軟件和設備產(chǎn)品) 可以只作為收集器或者索引器，這兩個也是占用CPU 最多的操作。

向供應商提供你的網(wǎng)絡數(shù)據(jù)(網(wǎng)絡帶寬、有效功率和需要監(jiān)測的客戶端數(shù)量) 以及企業(yè)日志管理計劃。然后讓供應商提供他們推薦的工作量分配配置。對于設備產(chǎn)品來說，這往往意味著不同位置的不同硬件模型。

性能是非常重要的，不僅對于避免網(wǎng)絡擁堵問題，也關系到實時或者歷史數(shù)據(jù)分析、打印報告和進行更深入的分析。當你需要處理幾千萬到幾十億的事件信息時，你肯定不想為了簡單的查詢回復而等待10分鐘。如果你的解決方案涉及多個日志管理節(jié)點，請確保查詢和報告可以在各個節(jié)點間允許哦那個，這意味著在管理控制臺的一次點擊能夠執(zhí)行所有產(chǎn)品的

搜索和報告。這些測試的產(chǎn)品在工作量分配方面都相當靈活，而唯一例外就是GFI EventsManager 。

大部分供應商都會聲稱他們的產(chǎn)品適用于任何類型的環(huán)境，并且很多供應商還表示他們安裝的解決方案每天都在處理數(shù)百億的信息，而沒有任何客戶投訴。在花大筆錢購買日志管理產(chǎn)品前，務必要進行完全測試，并獲取供應商關于性能方面的書面保證。

管理控制臺儀表板

每個日志管理產(chǎn)品都有管理控制臺儀表板，顯示關于日志管理系統(tǒng)本身和所監(jiān)測事件的關鍵實時和短時期總統(tǒng)計數(shù)據(jù)。大多數(shù)儀表板都會報告事件消息數(shù)、本地CPU 性能以及關于任何重要事件的通知。

幾乎所有供應商都允許儀表板自定義，讓用戶自己配置儀表板顯示信息。在大多數(shù)情況下，儀表板顯示是上下文相關的。你可以點擊顯示的圖形來獲取更詳細的信息。少數(shù)產(chǎn)品(例如NitroSecurity) 允許大量修改，幾乎所有數(shù)據(jù)、圖形或者警報都可以顯示。

用戶角色是很重要的，大多數(shù)產(chǎn)品都允許管理員(擁有完全權限) 來設置更多有限角色。例如，有些產(chǎn)品允許有限的管理員被定義，以防萬一當需要管理員級別權限而僅涉及預定義客戶端：所有windows 計算機、所有思科路由器等。大多數(shù)產(chǎn)品都有一個只讀角色，不能對任何配置設置作修改，但該角色用戶可以運行報告和查看預定義圖表和數(shù)據(jù)。大多數(shù)產(chǎn)品都只允許2至4個角色被定義，值允許管理員來定義顯示什么屏幕。其他產(chǎn)品(包括Splunk 、NitroSecurity 和LogLogix) 允許更多的角色定義，屏幕上的每個屬性和域都可以根據(jù)每個角色來定義。

日志收集

從各種被監(jiān)測客戶端收集日志信息是所有日志管理產(chǎn)品的主要功能，大多數(shù)產(chǎn)品既有無代理模式又有客戶端代理模式來收集日志。沒有代理意味著管理員不需要為每個客戶端分配、

安裝和配置額外軟件。但是，無代理日志收集仍然需要規(guī)劃。大多數(shù)產(chǎn)品使用syslog 轉(zhuǎn)發(fā)、WMI 查詢或者其他遠程方法來收集日志(后兩者通常需要客戶端管理員密碼) 。如果涉及防火墻的話，這些方法都需要必要的規(guī)則修改。不管怎樣，都不要認為無代理沒有運行或者會發(fā)揮巨大作用。

客戶端代理具有無代理收集方法不具備的優(yōu)勢。大多數(shù)代理都有多個配置選擇，允許管理員對哪些事件被收集以及如何收集有更細粒度的控制。例如，不是發(fā)送每條日志信息到中央服務器，代理可以僅發(fā)送關鍵事件，并且如果需要的話，還可以本地存儲事件信息以備以后的檢索?？蛻舳舜硗ǔＤ軌蛱峁﹤鬏攭嚎s，允許更多的時間在更多的時間使用更少的網(wǎng)絡帶寬來發(fā)送。

被監(jiān)測的客戶端可以一次添加一個(通常通過IP 地址或者域名) ，使用大量輸入(一次添加多個設備) 或者使用某種發(fā)起查詢進程(通常通過Active Directory瀏覽或者IP 地址掃描) 。帶部分產(chǎn)品允許“設備組”被創(chuàng)建，來收集一個或多個既定組名的受監(jiān)測客戶端，根據(jù)某種屬性來分組，例如設備類型、IP 地址或者名稱。設備組然后可以作為單一實體被監(jiān)測，這樣當試圖監(jiān)測某特定類型設備時更容易實現(xiàn)警報和報告。

客戶端代理也可以用來存儲事件，例如當集中日志管理工具離線時。最先進代理的最佳功能之一就是衡量網(wǎng)絡和/或本地CPU 使用率，并節(jié)流信息發(fā)送率直到網(wǎng)絡不在擁堵。最后，很多代理都有“心跳”功能，讓客戶端沒有在一定時間內(nèi)傳輸信息就會發(fā)出警報，雖然這可以被“零基準”警報模擬。毫不奇怪，長期的SIEM 領跑者ArcSight 比其它競爭對手擁有更多的客戶端代理。

如上所述，日志管理產(chǎn)品擁有的解析數(shù)據(jù)越多，就能夠更快更有效地從大量數(shù)據(jù)中篩選特定數(shù)據(jù)類型。一個產(chǎn)品最大的不同就是，該產(chǎn)品定義了多少解析器。例如ArcSight 就捆綁了超過100個定義的數(shù)據(jù)收集器。在更低端領域，有些產(chǎn)品只有幾十個解析器或者聲稱

他們的通用解析器效率相同。但在一般情況下，解析器越能夠模擬你的環(huán)境就越好(但這不是唯一的判斷點) 。有些日志管理產(chǎn)品允許管理員創(chuàng)建他們自己的解析器，這在很多環(huán)境都非常有用。

相關補充說明：大多數(shù)產(chǎn)品都聲稱擁有windows 事件日志收集代理。然而，很多這些代理都是在微軟最新windows 版本推出前創(chuàng)建的，并不能對這些最新操作系統(tǒng)版本進行細致的分析。很多解析器和代理了解三種傳統(tǒng)默認日志：應用程序、安全和系統(tǒng)，但是不能允許管理員從Windows Vista 、Windows7和Windows Server 2008提供的100-plus 內(nèi)置審查中進行選擇。

Splunk 是一款理解新windows 日志格式的工具，不過，我們還沒能找到一款工具能夠與更新的windows 內(nèi)置事件轉(zhuǎn)發(fā)技術結(jié)合(即使該產(chǎn)品承載在windows 操作系統(tǒng)上并能夠使用這項更新的技術) 。Windows 自帶的事件轉(zhuǎn)發(fā)可以替代所有其他代理和無代理方法。如同大多數(shù)產(chǎn)品的通病，日志管理并沒有更上最新客戶端變化的步伐。

日志存儲

存儲數(shù)百萬到數(shù)十億信息需要占用大量磁盤空間。大多數(shù)設備在RAID 配置中都有兆兆級磁盤存儲。雖然軟件和硬件產(chǎn)品都聲稱能夠進行某種存儲壓縮，但是根據(jù)很多客戶對傳輸壓縮的投訴，供應商所謂的存儲壓縮讓我們將信將疑。他們的存儲壓縮統(tǒng)計數(shù)據(jù)通常都是基于最小的事件日志信息以及最高的壓縮數(shù)值，這并不能反映真實世界的結(jié)果。

不過，大家需要找供應商弄清楚產(chǎn)品是軟件還是合并？產(chǎn)品支持的最大磁盤空間(或者文件大小) 以及配置？支持何種RAID 陣列？不同RAID 配置有不同的性能特點，也就是說，有些寫入很快，有些讀取更快，靈活度是一個考量因素。供應商是否支持對收集日志數(shù)據(jù)的數(shù)字簽名以滿足驗證需求？

大多數(shù)產(chǎn)品都有最大日志尺寸，這與底層主機操作系統(tǒng)的限制有關。如果產(chǎn)品是設備產(chǎn)品，數(shù)據(jù)能被存儲到外部驅(qū)動陣列嗎？多少數(shù)據(jù)可以有效被檢索和簡便地恢復？每個產(chǎn)品都允許數(shù)據(jù)導出或者存檔。導出數(shù)據(jù)通常是離線狀態(tài)，必須一起輸入以確?？伤阉餍?。有幾個解決方案能夠靈活處理這個問題，例如LogRhythm 允許管理員定義過濾器來導入需要的數(shù)據(jù)，而不是所有數(shù)據(jù)。

有些產(chǎn)品還有所謂的“存儲組”，這是專門為某特定任務單獨定義的邏輯分區(qū)，例如PCI 合規(guī)，或者特定設備分組，如思科無線路由器。除了為報告目的組織某種類型數(shù)據(jù)外，存儲組還可以用來確保特定應用程序有足夠磁盤空間來滿足特定政策要求，例如，保存數(shù)據(jù)兩年。ArcSignt 在這方面很有實力，包括有效的尺寸參數(shù)和CPU 優(yōu)先。

最后，你還需要確定事件日志數(shù)據(jù)是否是以供應商的專有格式(原始的未過濾和非結(jié)構化格式) 被存儲或者檢索？大多數(shù)產(chǎn)品都是以專有格式存儲有效數(shù)據(jù)，但是卻是以原始格式檢索和導出數(shù)據(jù)。這意味著重新導入的數(shù)據(jù)將需要被再次解析和檢索才能使用，但是如果原始數(shù)據(jù)(假設這些數(shù)據(jù)進行了數(shù)字簽名) 需要用于法律目的，這也更容易帶來產(chǎn)銷監(jiān)管鏈問題。 實時審查

大多數(shù)產(chǎn)品都允許多傳入數(shù)據(jù)的實時查看并顯示一些主要趨勢。如果你有一個中等規(guī)模的系統(tǒng)，每秒中都有數(shù)百條到數(shù)千條信息傳入，快速實時查看所有數(shù)據(jù)就失去了吸引力。所有產(chǎn)品都允許實時數(shù)據(jù)被過濾以僅僅顯示與特定任務相關的事件。通常這些過濾器可以保存為搜索歷史數(shù)據(jù)和生成相關報告。

最好的實時查看器允許用戶點擊特定數(shù)據(jù)字段來查看事件。舉例來說，也許你正在查看關于某特定工作站的輸入數(shù)據(jù)，然后你看到一個可疑的TCP 端口。在某些產(chǎn)品中，點擊該端口值會將現(xiàn)有實時查看信息轉(zhuǎn)變?yōu)轱@示所有使用該相同端口的所有工作站。其他產(chǎn)品只能

對歷史數(shù)據(jù)進行這種轉(zhuǎn)變顯示或者要求你將信息查看變?yōu)椤罢{(diào)查員”模式。所有這些測試的產(chǎn)品都提供非常靈活的查看功能，其中LogLogix 和LogRhythm 在這方面是最強的。 搜索存儲的數(shù)據(jù)

根據(jù)感興趣類型和事件來搜索存儲數(shù)據(jù)同樣是日志管理重要的功能，這也使很多供應商試圖將自身產(chǎn)品與其他競爭對手產(chǎn)品區(qū)別開來的領域。供應商往往會吹噓他們的過濾搜索如何能夠快速從非常大量數(shù)據(jù)(盡快這些說法在本文中沒有進行驗證) 進行搜索工作。大多數(shù)供應商都是基于關鍵字、英語短語和布爾邏輯來進行搜索。有些供應商要求用戶輸入所有搜索表達式類型，而其他供應商則提供圖形讓用戶選擇使用，“建立查詢”界面。根據(jù)點擊建立查詢在教育新管理員方面很有幫助，雖然有經(jīng)驗的管理員大多數(shù)都喜歡輸入查詢的快速和靈活性。

如果你的企業(yè)需要搜索大量原始、非結(jié)構化事件日志，詢問供應商是否支持非規(guī)范化數(shù)據(jù)間的搜索過濾？如果他們能夠提供這種搜索，具體是怎樣進行搜索的？對非結(jié)構化數(shù)據(jù)的搜索與結(jié)構化數(shù)據(jù)的搜索有什么不同？很多供應商只允許對原始數(shù)據(jù)的關鍵字搜索，而其他供應商還允許布爾邏輯。

可以在同類產(chǎn)品間執(zhí)行搜索嗎？在所測試的產(chǎn)品中，只有ArcSight 、LogLogic 、LogRhythm 和Splunk 可以在不同節(jié)點間執(zhí)行搜索。所有這些產(chǎn)品都允許搜索過濾被保存。不過更好的產(chǎn)品則會讓搜索過濾轉(zhuǎn)變?yōu)閳蟾?，并保存報告供日后使用，有些產(chǎn)品允許搜索過濾發(fā)送和共享，這在擁有很多日差查看器的非常大的系統(tǒng)環(huán)境尤其有幫助。

另外，擁有很多內(nèi)置、預定義搜索過濾器也很不錯。有些產(chǎn)品沒有或者只有一小部分樣品，而最好的產(chǎn)品應該有幾十個預定義的有趣的查詢，并且通常是與一個或者多個合規(guī)要求聯(lián)系的。最常見的就是登陸失敗，一些產(chǎn)品(包括LogLogic) 包括“近似文本”查詢，顯示你感興趣的特定消息前面和后面的10個左右的事件。

警報

警報是日志管理非常重要的功能，對于SIEM 也是至關重要的功能。供應商應該能夠支持幾種不同類型的警報方式。所有被測試的產(chǎn)品都有電子郵件警報，并且大部分都允許SNMP 轉(zhuǎn)發(fā)。出人意料的是，只有少數(shù)產(chǎn)品有短袖報警或者允許模擬調(diào)制解調(diào)器電話撥號(對于缺乏互聯(lián)網(wǎng)接口撥號) 。有些產(chǎn)品(包括NitroSecurity) 界面有幫助她軟件(通常是Remidy) 或者有他們自己的“服務臺”功能來幫助解決警報問題。大多數(shù)產(chǎn)品允許無限制的保健，但是有些產(chǎn)品，尤其是ArcSight Logger ，僅允許有限次數(shù)的有效警報，確切來說，Logger 允許五次有效警報。ArcSight 的SIEM 產(chǎn)品沒有這樣的限制。

警報可以分為以下幾種類型。從最基本的情況來看，當檢測到特定日志事件時，警報允許發(fā)送通知，所有產(chǎn)品都允許根據(jù)特定時間內(nèi)一定數(shù)量事件的警報。筆者最喜歡的警報類型是基本警報，也就是產(chǎn)品本身確定環(huán)境的“正?！笔录愋?，而管理員來確定偏差百分比來發(fā)送警報。NitroSecurity 支持每種信息類型的基本報警，而LogLogic 基本報警限制于來自特定設備或者設備組的所有信息。

不管你選擇的是哪種日志管理產(chǎn)品，請確保它有控制警報信息的功能。沒有什么比半夜收到來自單個事件的一百條警報更糟糕的事情了。

報告

所有產(chǎn)品都有內(nèi)置式報告，并允許報告進行自定義化或者創(chuàng)建。最好的產(chǎn)品擁有數(shù)以百計的內(nèi)置報告(無論是免費的還是額外收費的) 涉及特定安全或者合規(guī)需求：NERC 、PCI 、SOX 、FISMA 等。報告通常能夠以不同格式存儲：CSV 、HTML 、XLS 、TXT 和PDF 等。擁有越多的內(nèi)置報告越有幫助。

一定要測試結(jié)構化數(shù)據(jù)與非結(jié)構化數(shù)據(jù)有關的報告差異。大多數(shù)供應商不能夠處理非結(jié)構化數(shù)據(jù)報告，或者不能夠適用于結(jié)構化數(shù)據(jù)的總結(jié)和技術。有些供應商將非結(jié)構化數(shù)據(jù)納入到報告中，僅通過涵蓋完整的原始信息細節(jié)或份很小的數(shù)據(jù)匯總。

除了與特定合規(guī)要求相關的中高層管理報告外，尋求支持技術故障排除的詳細報告。具有最佳報告功能的產(chǎn)品，包括ArcSight 、LogRhythm 和NitroSecurity ，這些產(chǎn)品符合以上要求。有些產(chǎn)品實在工作流進程運行，合規(guī)報告可以發(fā)送命令鏈，并由相關責任方簽字。我們的建議就是找出哪些報告屬于內(nèi)置的，哪些報告是需要收取額外費用的，并審查這些報告是否能夠符合你的合規(guī)要求。

結(jié)論

這七個被評估的產(chǎn)品包含數(shù)百個功能，并且具有極強的可配置型，每個產(chǎn)品都是值得考慮的日志管理產(chǎn)品。大家可以仔細閱讀上述產(chǎn)品分析，以及產(chǎn)品的差異，以尋找最適合企業(yè)環(huán)境的產(chǎn)品。然后對所選擇