作者：童鵬哲 / 臺灣大學計算機及資訊網路中心資訊網路組計畫研究專員

---

本文說明如何使用開放ELK架構收集日誌資料，利用ELK能即時搜索、多樣性的視覺化功能協助事件分析，並使用ELK之API功能與外部程式界接，執行更多樣化的統計分析。

前言
本文將描述資安人員如何透過自行建立的資料庫以及可視覺化之套件，對於校園資安設備所收攏之資安事件，能有更即時的整理以及更多面向的分析角度。

視覺化工具的使用
為了能夠快速分析事件日誌資料並且有效利用日誌資料所提供的內容增加事件分析之不同角度，我們將設備日誌資料轉存至ELK資料庫上。
ELK[1]資料庫平台為三樣套件所組成，分別為Elasticsearch、Logstash與Kibana，其中Elasticsearch為ELK資料庫之核心，作為資料儲存、分析、資料搜尋使用，並且擁有良好的RESTful API供使用[2]。Logstash位於ELK架構之前端，能先將丟至ELK架構的日誌資料先行做解析及過濾後，再將資料轉拋Elasticsearch儲存。而Kibana則為使用者提供良好的Web介面，也提供優秀的視覺化套件，讓使用者能利用簡單的操作進行資料分析或取得想要的資訊。

視覺化日誌資料分析
透過Kibana的視覺化套件，能繪製出不少儀表板，如下圖1所示，透過文字字體的大小變化，便能迅速看出此段時間內觸發最多的事件、事件類型及地理位置分布。

圖1. 觸發事件及地理位置儀表板

若分析人員需要深入研究單一事件所觸發的來源IP、目標IP、來源Port、目標Port，也能直覺性的點擊欲分析之事件名稱，如圖2所示 (IP位址經過適當遮蔽)。

圖2. 單一事件查詢分析

若需針對事件進行更多面向的分析，也能透過ELK使用更多視覺化圖表進行分析，如利用Heatmap分布圖，來查看各個事件的分布及關係，如圖3。

圖3. 事件Heatmap分布

藉由API與外部程式結合進行關聯分析
利用ELK方便的API搜索功能，使用者能快速從Elasticsearch資料庫中抓取出欲分析的資料，並透過外部程式或自行撰寫之程式，進行更多樣化的分析。但如果希望分析不同規則之間的關聯性，雖能利用Kibana的視覺化套件，快速組織圖表看到部分關聯性，但依舊無法有系統性的進行分析。
以下說明我們如何試驗：將校園之資安設備儲存於Elasticsearch的日誌透過API匯出進行分析，並針對各類規則進行相關係數(Pearson correlation coefficient)計算，找尋各類事件間的相關性。
在此次試驗近7萬筆資料中，可以統計出來源IP共有4212筆，目標IP共有13180筆，而規則種類有112種。利用目標IP與規則名稱種類數所組成的樞紐分析表進行分析，結果如圖4所示。

 

圖4. 目標IP-事件樞紐分析表格

透過上述的樞紐分析表，進行各columns(各類事件)之間的相關係數計算，我們使用下圖的相關係數矩陣(Correlation matrix)及相關係數高低排序表進行表示，如下圖5與圖6所示。

圖5. 規則-相關係數矩陣

圖6. 相關係數高低排序表

透過ELK與外部程式的結合，能有效地尋找出資安設備規則之間的相關性，並有助於分析人員掌握事件及規則之間關聯性。

結語
網路崛起的世代，改變了大家的生活習慣，不僅造成網路流量遽增，隨之而來的更是大量的資安事件，造成網路管理人員每日所接收的設備事件日誌，數以千萬計的持續上升中。雖有SIEM平台能協助資安人員進行自動化的處理及事件的分析，但仍有不足之處。為能快速分析大量事件，強大的視覺化套件是管理者不可或缺的工具。而大量的視覺化工具，若能再搭配相關的第三方程式或工具，則能更有效地依據需求找尋出日誌及資料中的意義。
隨著數據資料膨脹速度之快的發展現況，網路管理分析人員若想進行更有效或更具科學性的分析，搭配機器學習或其他更多的統計計算分析機制，將會是需持續探討的議題。

參考文獻
[1]ELK下載：https://www.elastic.co/downloads/
[2]ELK介紹與使用-凌群電子報：http://www.syscom.com.tw/ePaper_Content_EPArticledetail.aspx?id=625&EPID=238&j=3&HeaderName=%E7%A0%94%E7%99%BC%E6%96%B0%E8%A6%96%E7%95%8