CENTRALIZED LOGGING ?>

CENTRALIZED LOGGING

Artikel dan Tutorial hari ini saya akan membahas tentang memusatkan file log dari seluruh perangkat, hal ini mempunyai fungsi untuk membackup file log perangkat dan menganalisa suatu kejadian. Log merupakan suatu berkas (file) yang dibuat oleh server/perangkat untuk merekam seluruh informasi yang berisi suatu proses yang berjalan dan waktu terjadinya proses tersebut. Centralized Logging merupakan tempat terpusatnya berkas log yang didapat dari beberapa perangkat yang digunakan sebagai bahan untuk mengidentifikasi/analisa suatu masalah dari semua perangkat tersebut.

Ada beberapa tools yang digunakan untuk menerapkan hal tersebut, yaitu :

  1. Logstash :

Merupakan suatu aplikasi untuk mengumpulkan, mengolah/mengurai dan meneruskan berkas log serta memberikan indeks untuk memudahkan pencarian data.

2. Elasticsearch :

Merupakan sebuah aplikasi yang berfungsi sebagai pencari data pada berkas log yang sudah diolah yang dapat disimpan pencarianya

3. Kibana :

Merupakan sebuah aplikasi analisa berbasis web untuk visualisasi/ menampilkan hasil index dan pencarian data log yang sudah diolah

Berikut Arsitektur untuk mengimplementasikan Centralize Logging :

arsitekture

Berikut blok diagram alur proses dari Centrilize logging :

blok diagram

Ada beberapa Requirement Hardware & Instalation minimum yang harus diterapkan :

# Hardware Min : CPU 2 Core, RAM 4GB & HDD 100 GB

#Installation :

  1. Install OS Ubuntu Server 14
  2. Install Java 8
  3. Install Elasticsearch
  4. Install Kibana
  5. Install Nginx
  6. Install Logstash

Berikut beberapa konfigurasi yang harus dilakukan setelah melakukan instalasi sistem operasi dan aplikasi :

  1. Konfigurasi Logstash

Membuat file konfigurasi logstash :

#nano /etc/logstash/conf.d/ips.conf

input {

file {

path => [ “/var/log/remote/IPS/ips.log” ]

start_position => “beginning”

type => “ips”

}

}

output {

elasticsearch {

hosts => [“localhost:9200”]

sniffing => true

manage_template => true

index => “ips”

document_type => “ips”

}

}

}#nano /etc/logstash/conf.d/ips-filter.conf

filter {

if [type] == “ips” {

grok {

match => { “message” => “%{MONTHDAY} %{TIME} %{YEAR} %{WORD:Device} cat=Attack.*?devTime=%{NOTSPACE:Date} %{TIME:Time}.*?proto=%{WORD:Protocol}.*?sev=%{WORD:Severity}.*?src=%{IPV4:Source}.*?dst=%{IPV4:Destination}.*?srcPort=%{INT:Src_port}.*?dstPort=%{INT:Dst_port}.*?adapterID=%{WORD:Adapter_ID}.*?domain=%{WORD:Domain}.*?status=%{WORD:Status}” }

add_field => [ “received_at”, “%{@timestamp}” ]

add_field => [ “received_from”, “%{host}” ]

}

geoip {

source => “Source”

target => “geoip”

database => “/etc/logstash/GeoLiteCity.dat”

add_field => [ “[geoip][location]”, “%{[geoip][longitude]}” ]

add_field => [ “[geoip][location]”, “%{[geoip][latitude]}”  ]

}

mutate {

convert => { “[geoip][longitude]” => “float”

“[geoip][latitude]” =>  “float”

}

}

syslog_pri { }

date {

match => [ “ips_timestamp”, “MMM d HH:mm:ss”, “MMM dd HH:mm:ss” ]

}

}

}

#cd /etc/logstash/conf.d/

#/opt/logstash/bin/logstash -f ips.conf

# service logstash configtest

#service logstash restart

# curl ‘localhost:9200/_cat/indices?v‘

Kemudian konfigurasi Kibana, buka browser kemudian buka aplikasi Kibananya :

  1. Konfigure Index

confugindex

2. Konfigure Visualize

visualize

3. Konfigure Dashboard :

dashboard

 

Demikianlah artikel dan tutorial Centralize Logging, selamat mencoba

 

Leave a Reply

Your email address will not be published. Required fields are marked *