2019-07-22 TIL logstash

logstash가 실행하는 conf 파일을 작성 

 

temp.conf 로 저장하고

$logstash_home_dir/bin/logstash -f temp.conf 로 실행한다 

 

filter에는 조건을 주는데, mutate 부분은 이상한 컬럼이 들어갈 수 있기 때문에 이를 방지하기 위해 반드시 써줘야 한다. 

input {
        file {
                path => "/home/file.txt"
                start_position => "beginning"
                sincedb_path => "/dev/null"
        }
}

filter {
        csv{
                separator => ","
                columns => ["col1", "col2", "col3"]
        }
        mutate {
                remove_field => ["message", "host", "path", "@timestamp", "@version"]
        }
}

output {
        elasticsearch {
                hosts => "http://address:port"
                index => "index_name"
                document_id => "%{[col1]}"
        }
        stdout {}
}