로그 수집 방식 ( 파일수집 관련 수집모델 )

개요

  • Sonar에 로그 수집연동 시 참고하는 가이드입니다.

  • 주로 많이 사용하는 수집모델 위주로 작성하였습니다.

    1. 디렉터리와처 / GZIP 디렉터리 와처
    2. 리커시브 디렉터리 와처
    

수집모델

  • 디렉터리 와처 / GZIP디렉터리 와처

    • 서버 내 특정 경로에 있는 파일 등을 읽어 수집할 때 사용합니다.

    • 주로 센트리가 설치된 환경에서 파일수집 시 사용합니다.

    • 디렉터리 경로 : /opt/web/ 과 같이 로그 적재 경로를 기입합니다.

    • 파일이름 패턴 : 파일 명 또는 정규식으로 파일이름을 지정합니다.

      ex ) 파일 명 : 20260611_was.log 인 경우
      -> \d+\_.log
      ex ) 파일 명 : 20260611_log.tar.gz
      -> \d+\_*.gz
      
    • 날짜 정규표현식 : 로그 내 날짜 부분을 추출할 정규표현식을 기입합니다.

      ex ) \d{4}\-\d{2}\-\d{2} \d{2}\:\d{2}\:\d{2}
      
    • 날짜 포맷 : 날짜 및 시각 문자열을 파싱

      ex ) yyyy-MM-dd HH:mm:ss
      ex ) yyyy/MM/dd 
      ex ) MMM dd HH:mm:ss
      
    • 멀티라인의 경우 로그 시작/로그 끝 부분을 파싱하는 정규표현식을 사용합니다.

    • 파일이름, 경로 태그를 지정하는 경우 지정한 태그 명으로 컬럼이 선언되어 해당 컬럼에 파일이름 또는 경로가 포함되어 저장됩니다.

    • 경로 날짜 추출 포맷 : 디렉터리 경로가 날짜 형태로 되어있는 경우 해당 날짜포맷을 추출할 때 사용합니다. ( _time 값 또는 모니터링 대상 일수에 사용 )

    • 모니터링 대상 일수 : 추출한 날짜를 기준으로 n일 이내 파일만 수집합니다.

  • 리커시브 디렉터리 와처

    • 디렉터리 와처의 기능을 확장, 지정된 디렉터리와 하위 디렉터리의 변경 사항 등 감지합니다.

      ex ) 로그 경로가 여러 디렉터리일 경우
      
      /home/logpresso/web/web.log
      /home/logpresso/was/was.log
      /home/logpresso/etc/server.log
      

    • 디렉터리 경로 패턴 및 파일이름 패턴 설정

    • 하위 디렉터리도 색인 할 수 있게 true 설정