Kafka 2

어떤 메시지 큐를 선택할까? (Kafka · RabbitMQ · Redis)

최근에 비동기 처리를 추가할 일이 생겼는데, 막상 시작하려니“그래서 나는 어떤 큐를 써야 하지?”라는 고민이 제일 먼저 들었습니다. Kafka도 흔히 큐처럼 사용되고, RabbitMQ는 이름부터 Message Queue이고, Redis로도 큐를 만들어 쓸 수 있다 보니 더 헷갈리더라고요.정리해 보니 결국 중요한 건 이름이 아니라, 내가 원하는 동작이었습니다.메시지를 다시 처리해야 하는지, 작업을 어떻게 나눌 건지, 유실을 어디까지 허용할 수 있는지, 운영 복잡도는 감당 가능한지 같은 부분이 중요했습니다.그래서 이 글에서는 먼저 선택해 보고(선택표) → 기준을 세운 뒤(질문) → 각 큐를 이해하는(설명) 순서로 정리해보려 합니다. 먼저 선택표부터상황/요구추천이벤트 로그, CDC, 재처리·재생 가능해야 ..

Architecture 2025.12.17

Kafka 이해하기: 핵심 개념과 작동 원리

MSA 환경에서는 서비스 간 데이터 전달과 비동기 처리를 위해 Apache Kafka와 같은 메시징 시스템이 자주 사용됩니다. Kafka는 높은 처리량, 확장성, 그리고 안정성을 바탕으로 대규모 데이터 스트리밍 및 실시간 처리에 탁월한 도구로 자리 잡고 있습니다. 이번 글에서는 MSA 환경에서 Kafka가 유용하게 사용되는 이유를 살펴보고, Kafka의 핵심 개념과 작동 원리를 간단히 정리하고자 합니다!  kafka란 무엇인가요?Kafka는 분산 메시징 플랫폼으로, 실시간 데이터 스트리밍 및 대규모 데이터 처리를 지원합니다.다음과 같은 특징을 갖고 있습니다. 분산 아키텍처: 고가용성과 확장성 제공고성능: 초당 수백만 건의 메시지 처리 가능내구성: 디스크 기반 저장으로 데이터 유실 방지다양한 활용성: 실시..

Data/Kafka 2024.11.17