샤인의 IT (막 적는) 메모장

Kafka? Kafka 란? : 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼 Kafka 주요 특징 처리량 : 묶음 단위 배치 처리로 실시간 로그 데이터 처리 확장성 : 브로커 Scale-in/Out 영속성 : 데이터를 메모리에 저장하지 않고 파일시스템에 저장함, 파일 I/O 성능 향상을 위해 메모리에 페이지 캐시 사용 고가용성 : 서버/브로커 장애 시 데이터 복제를 통한 지속적인 데이터 처리 가능 Kafka 아키텍처 정리 Zookeeper : 분산 처리된 메시지 큐 정보를 관리 Broker : Kafka 서버 Topic : 메시지가 생산되고 소비되는 주제 (각 메시지 별로 분류) Partition : Topic 내 분산되어 저장되는 데이터 단위 Offset..