logstash 를 여러개 실행 하는 것

 

conf 파일을 서로 다른 디렉토리에 두고, logstash.yml의 path.data를 수정해야 한다. 

startup.options 에서 LS_SETTING_DIR 을 conf가 있는 경로로 수정해 준다 

 

보통 실행할 때 $logstash_home_dir/bin/logstash -f temp.conf 로 실행하는데, 

$logstash_home_dir/bin/logstash --path.settings ./temp_conf_0 -f ./temp_conf_0 /temp1.conf

$logstash_home_dir/bin/logstash --path.settings ./temp_conf_1 -f ./temp_conf_1 /temp2.conf 

$logstash_home_dir/bin/logstash --path.settings ./temp_conf_2 -f ./temp_conf_2 /temp3.conf 

 

--path.settings 옆에 conf가 있는 디렉토리 경로를 적어주고, 그 뒤에 conf 파일명을 적어준다.

 

위 처럼 하면 conf 파일 3개가 동시에 수행된다. 

728x90

'일상 > Today I Learn(TIL)' 카테고리의 다른 글

2019-08-13 TIL pandas DataFrame 다루기  (0) 2019.08.13
2019-07-31 TIL Elastic Search  (0) 2019.07.31
2019-07-22 TIL logstash  (0) 2019.07.24
2019-07-21 TIL '쇠막대기' 알고리즘 문제풀이  (0) 2019.07.21
Today I Learn 시작  (0) 2019.07.21

logstash가 실행하는 conf 파일을 작성 

 

temp.conf 로 저장하고

$logstash_home_dir/bin/logstash -f temp.conf 로 실행한다 

 

filter에는 조건을 주는데, mutate 부분은 이상한 컬럼이 들어갈 수 있기 때문에 이를 방지하기 위해 반드시 써줘야 한다. 

input {
        file {
                path => "/home/file.txt"
                start_position => "beginning"
                sincedb_path => "/dev/null"
        }
}

filter {
        csv{
                separator => ","
                columns => ["col1", "col2", "col3"]
        }
        mutate {
                remove_field => ["message", "host", "path", "@timestamp", "@version"]
        }
}

output {
        elasticsearch {
                hosts => "http://address:port"
                index => "index_name"
                document_id => "%{[col1]}"
        }
        stdout {}
}
728x90

백준 10799번 문제(쇠막대기) 를 푸는것을 시작했다.

1시간 생각해도 잘 모르겠어서 백준님의 풀이를 참고했다. 

 

자주 자책하는 성격인지라 문제풀이 할 때 추진력을 잃곤 한다.

 

이를 극복하기 위해, 백준님이 강조하신 내용을 메모해둔다.

 

 

공부하는 방법

1. 스트레스 최대한 덜 받으면서 즐겁게 하기! (가장 중요하다)

2. 알고리즘 문제를 푸는 '방법'을 이해하자. 

  -- 완벽하지 않거나, 일부만 이해했어도 성공!

3. 문제를 풀 때, 2시간 정도만 고민해본다. (나의 경우, 1시간으로 정했다.)

  -- 모르겠으면 정답 소스를 보거나 풀이를 본다 

  -- 막힌다고 풀죽지 않기

4. 위의 2번에서 이해가 잘 가지 않는 부분이 있으면, '질문'한다. 

  -- 백준 슬랙 이용.

  -- '설마 이런것도 질문해도될까?' 고민되는 것도 전부 질문한다.

5. 다시 알고리즘을 이해해보고 문제를 풀어본다. 

  -- 그래도 모르겠으면 풀이를 본다. 

  -- 그래도 모르겠으면 놀러나가거나 다른 문제에 도전한다!

 

* 항상 명심할 점

프로그래밍을 많이 하는 것 보다, 문제 해결에 대한 구체적인 생각을 많이 하자.

728x90

'일상 > Today I Learn(TIL)' 카테고리의 다른 글

2019-08-13 TIL pandas DataFrame 다루기  (0) 2019.08.13
2019-07-31 TIL Elastic Search  (0) 2019.07.31
2019-07-24 TIL logstash 여러개 실행  (0) 2019.07.24
2019-07-22 TIL logstash  (0) 2019.07.24
Today I Learn 시작  (0) 2019.07.21

오늘 하루 배운점 또는 해본것을 기록하고, 느낀점에 대해 간단히 정리 하려고 한다. 

화이팅!

728x90

+ Recent posts