simple note

로그수집 및 저장/관리는 예전에도 있던 요구사항이다.
서버에 에이전트를 설치하여 주요 거래로그를 원격지 DB에 저장하게 하는 방식이 일반적이었다.
(주된 관심거리는 로그 위변조 이슈--WORM--나 필터링,분석, 속도에 관련된 것이었다.) 
시스템 모니터링의 경우도 어떻게, 그리고 얼마나 빨리 각 서버의 시스템정보를 획득할 것인가(주로 vmstat 등 시스템이 제공하는 기능을 이용해 정보를 수집)에 관심이 집중 되어 있었다.

그런데, 왜 클라우드 컴퓨팅 영역에서 다시 로그 얘기가 나온걸까?

IT시장에서 한동안 콘솔리데이션 경향이 있었다.
가용성 측면에서 급속도로 올라가는 요구사항은 시스템 관리자들을 야근으로 몰고 있었고,
점점 관리 리스크를 줄이고 싶어하는 필요성이 생겼다.
그것은 하드웨어 벤더와 이해가 맞아 떨어지면서 수십대의 장비를 몇대의 물리적 장비로 통합하고
그 안에서 다시 쪼개는 식의 콘솔리데이션 바람이 불게되었다.

하지만 콘솔리데이션은 고급화된 하드웨어에 의한 비용부담을 증가시켰고, 확장성에 제약을  주었다.

그다음 방법은 무엇일까에 대해 이미 글로벌 기업들은 새로운 길을 파고 있었다. 
스토리지와 데이터 관리, 애플리케이션 서버에 변화가 일었다.

무언가 새로운 것이 만들어지면 그다음은 모방이 따라온다.
하드웨어가 아닌 소프트웨어로 전환된 사고는 로그관리에도 마찬가지의 전환을 가져오게 되었다. 
클라우드 솔루션의 도입은 1~20대의 시스템이 아닌 수십대 수백대의 시스템을 예상하도록 만든다.
이는 시스템 모니터링이나 로그 관리에 있어서도 예전의 방식이 가지고 있던 문제점에 대해 또다시 아픈 기억을 떠올리게 된다. 


주된 관심을 받고 있는 클라우드 계의 로그관리 솔루션으로 두가지가 있다. 
Chukwa, Scribe
 
- Chukwa : hadoop의 서브 프로젝트
Hadoop FS 에 로그를 저장하고 Map-Reduce로 로그를 분석.
장점 : 타겟 서버의 수정이 필요없음, 하둡FS를 이용해 로그 저장의 안정성 제공, 준/실시간 분석 기능 제공
단점 : 하둡FS만 지원, 바이너리 포맷인 하둡 SequenceFile로 저장됨
cf) HICC 하둡 상태정보를 제공하는 웹인터페이스 (MySQL 사용)
cf) 직접 명령실행용 어댑터(ExecAdaptor)나 로테이트 되는 로그파일 처리용 어댑터도 제공(filetailer.FileTailingAdaptor)

- Scribe : facebook의 로그관리 솔루션 . APL
장점  : 다양한 개발언어 지원(thrift interface)
단점 : 기존 로그파일을 스크라이브 api로 변환해야함, 로그저장 스토리지 및 시스템 구성은 사용자가 직접 구성해야함
cf) log4j 용 scribe appender 제공

그런데 로그 자체를 일반 파일이 아닌 NOSQL로 저장하는 접근은 없나? (방금 찾아보니 log4mongo 라는게 걸린다.  http://log4mongo.org/ )

최근 조류의 특이점은 1. 오픈소스, 2. 특정 개발언어 종속성 최소화, 3. 대용량 분산환경
이것은 MS나 ORACLE이 추구하는 방향과는 사뭇 다르다.
(오라클이 NOSQL 솔루션을 제공하지만 그 줄기에는 ORACLE DB나 하드웨어와 같은 벤더 친화적인 개념으로 유도하기 위한 미끼의 느낌이다. 그것이 Enterprise 솔루션이란다. )


참조 : 클라우드 컴퓨팅 구현 기술 / 김형준 외 / 에이콘