Kafka Exactly-Once에서 At-Least-Once로 변경한 이유

1. 문제 발생

Kafka 메시징 시스템을 운영하는 과정에서, 메시지를 딱 한 번만 정확히 전송하는 Exactly-Once 방식에서 최소 한 번 전송하는 At-Least-Once 방식으로 변경할 필요가 발생했다. 이 과정에서 성능과 데이터 정합성 사이의 균형을 맞추는 것이 중요한 과제가 되었다.

2. 원인 분석

2.1 Exactly-Once 방식의 문제점

1. 성능 저하:
   • Exactly-Once 방식은 트랜잭션을 사용하여 메시지를 철저히 관리하기 때문에 네트워크 및 처리 속도가 느려짐.
   • Kafka의 Exactly-Once Processing은 모든 메시지를 한 번만 처리해야 하므로, 추가적인 오버헤드가 발생.
2. 운영 복잡성 증가:
   • Exactly-Once 모드를 사용하려면 Kafka, 프로듀서, 컨슈머, 외부 데이터 저장소(RDBMS, NoSQL 등) 간의 정합성을 보장해야 하므로 설정과 유지보수가 복잡해짐.
   • 장애 발생 시 트랜잭션을 롤백해야 하는데, 이 과정에서 데이터 일관성을 유지하기 위한 추가적인 로직이 필요함.
3. 트랜잭션 비용 증가:
   • Exactly-Once 메시징을 위해서는 Kafka의 트랜잭션 프로토콜을 활용해야 하며, 이는 일반적인 메시징보다 높은 리소스를 요구.
   • 병렬 처리를 제한할 수 있으며, 전체적인 시스템 응답 속도를 저하시킬 가능성이 있음.

2.2 At-Least-Once 방식의 장점

1. 성능 개선:
   • 메시지를 최소 한 번 이상 보낼 수 있기 때문에 네트워크 및 시스템 부하가 줄어들며, 더 빠른 처리 속도를 보장.
   • 트랜잭션 오버헤드 없이 빠른 처리 가능.
2. 운영이 단순해짐:
   • Exactly-Once 방식에 비해 설정이 간단하며, 장애 복구 시에도 전체 트랜잭션을 롤백하지 않고 개별 메시지를 기반으로 정합성을 관리 가능.
   • 중복 메시지가 발생할 수 있지만, 서비스 레이어에서 멱등성(idempotency)을 보장하면 문제 해결 가능.
3. 확장성 증가:
   • At-Least-Once 방식은 다량의 메시지를 빠르게 처리할 수 있어, 높은 트래픽을 감당해야 하는 시스템에서 유리.
   • 클러스터 확장 시에도 성능 저하 없이 안정적인 운영 가능.

3. 해결책 수립

3.1 해결책 비교

해결책	장점	단점
Exactly-Once 메시징	데이터 정합성을 철저히 유지	성능 저하, 운영 복잡성 증가
At-Least-Once 메시징 + 멱등성 처리	성능 유지, 운영 간소화, 확장성 증가	중복 메시지 처리 필요

 

3.2 최적 해결책 선택

At-Least-Once 방식에서 멱등성 처리(idempotency) 를 추가하는 방식이 가장 현실적인 해결책으로 판단됨.

• 선택 이유:
  • Exactly-Once 방식은 성능 저하 및 운영 복잡성이 크므로, 대량의 트래픽을 처리하는 환경에서는 비효율적.
  • At-Least-Once 방식에서는 메시지가 중복될 가능성이 있지만, 고유 ID(UUID) 기반 중복 방지, Redis 캐싱, 데이터베이스 중복 검사 등의 기법을 적용하면 데이터 정합성을 유지하면서도 성능을 확보할 수 있음.
  • 특히, 고속 처리가 필요한 마이크로서비스 환경에서는 At-Least-Once 방식이 더 유리함.

4. 결론

Kafka 운영 과정에서 Exactly-Once 방식에서 At-Least-Once 방식으로 변경한 이유는 성능 저하와 운영 복잡성을 줄이면서도 확장성을 확보하기 위함이었다. 중복 메시지를 방지하기 위해 멱등성 로직을 적용하여 데이터 정합성을 유지하는 것이 핵심 해결책이었다.

변경 전 방식	변경 후 방식	주요 이유
Exactly-Once	At-Least-Once + 멱등성 처리	성능 최적화, 운영 간소화, 확장성 증가

Kafka 운영 시, 설정 최적화 및 모니터링을 병행하여 장애 발생 시 빠르게 대응하는 전략이 필요하다. At-Least-Once 방식은 중복 메시지 처리를 필요로 하지만, 적절한 멱등성 로직을 적용하면 성능과 데이터 정합성을 모두 만족할 수 있는 현실적인 대안이 된다.