Recent Posts

안녕하세요. 백엔드 개발자 황보규민입니다.

운영 환경에서 마주친 병목, 장애 가능성, 데이터 정합성 문제를 정리해두는 개인 기록입니다. 나중에 다시 빠르게 찾아보고, 비슷한 문제를 겪는 사람에게 공유하기 위해 남깁니다.

단순한 사용법보다는 왜 문제가 생겼고, 어떤 기준으로 해결책을 골랐는지를 남기려고 합니다.

2026-05-12 Kafka KIP-848 는 왜 등장했는가 서론 Sharding 관련 리밸런싱 알고리즘을 설계하다보니 자연스럽게 Kafka 리밸런싱 레퍼런스를 찾아보게되었다.
2026-05-03 Redis Stream Sharding 최근에 계속 관심있게 보고있는건 Redis 5.0 부터 추가된 stream 큐이다. (6.2) autoclaim 추가되면서 idletime 기반 claim 편의성이 증가했고 (8.2) 에서 xackdel 추가 및 ACKED 옵션으로 큐 용량관리가 빨리지고 용이해졌다. (8.
2026-02-11 Coroutine and VirutalThread 코루틴 매우 편리하고 콜백 지옥도 크게 해소되었다. 그런데 기존 Virtual Thread 와는 어떤 성능적 차이가 있는지 궁금해져서 찾아보았다. 에서 아래와 같이 말한다.
2026-02-05 cloudflare tunnel 로 댓글 홈서버 운영 및 자동화 방명록 홈서버 구축 과정 도메인 구매 및 네임서버를 cloudflare 로 두고 홈서버에 tunnel 설정 FastAPI + SQLite 방명록 서버 github action self hosted runner 홈서버로 배포 자동화 로컬에서도 테스트 가능하도록 설정 원격작업...
2026-01-24 Hotspot VM 의 JIT 컴파일러와 GraalVM JIT 컴파일러 탄생배경 및 정의 자바는 bytecode 명령어로 이루어진 .class 까지 javac 로 컴파일링 한 뒤 JVM 위에서 한 줄씩 bytecode binary code 로 interpreting 한다.
2026-01-18 최종 정리 이번에 토스 러너스 하이 2기 프로그램에 참여하게 되었고, 결과 발표 시점에 이전 직장에서 경영 악화로 개발 조직이 해체되는 상황을 겪었습니다.
2026-01-17 메모리 사용률 50% 임계값 alert 및 파티셔닝 전/후 메모리 부하 분산 확인 SUMMARY 파티셔닝 전/후 메모리 부하 분산 확인 임계치 초과 시 slack alert 과정 maxlen 근사치면, produce 하기전에 에러 반환하도록 하였습니다.
2026-01-14 컨슈머 재정리 로직 개선 및 cdl 개별 interval/retry 설정값 적용 메인로직에서 CDL 분리시키고 해당 큐에선 좀 더 retry 해본 뒤 느리게 천천히 소비되도록 설정하였습니다. 또한 /actuator/prometheus 에 값 갱신 업데이트 및 scrap 해상도를 임시로 1초로 설정해서 테스트에 용이하도록 하였습니다.
2026-01-12 aws-secret/bus-refresh 직접구현은 매우 비효율적. CDL 로 max retry 이후 전송되는 것 관측 summary 1. redis pub/sub 으로 실무 busrefresh 구현의 한계점으로 인한 3가지 대안 모색 2. 큐 - CDL 데이터 넘어가는 것 관측 3.
2026-01-09 추가적인 모니터링 지표들과 stream 크기 동적 확장을 위한 버스 리프레시 구현(redis pub/sub) Stream group 별 pending 개수, lag 개수 XADD/sec, XACK/sec consume 처리지연시간(consuming 하는 시점에서 현재시간과 produced 시간대 - 한 지표 쏘기).
2026-01-05 실패 메세지 재처리 시 중복방지를 위한 XAUTOCLAIM lua 구현 Spring Boot Data Redis 3.5.6 XAUTOCLAIM 미지원으로 인한 lua 구현 2022년부터 xautoclaim 지원 요청이 있었지만 아직 지원하고 있지 않습니다.
2026-01-03 stream key size 확인 stream 10MB 증가량 만큼 정상적으로 노드 메모리 집계되는 것을 확인할 수 있습니다.
2026-01-01 Consumer 제거 필요 및 stream 별 redis node 메모리 사용량 모니터링 추가 현재 서버 배포 시 consumer 재기동 하며 이 떄 consumer-id 가 변하도록 설정하였습니다.
2025-12-31 Redis Stream 모니터링 API 안에 lag 데이터까지 가져와서 확인하기 redis 8.2 버전에선 lag 데이터를 같이 전달해주지만, 최신의 spring data redis 에선(3.5.x or 4.0.x) lag 정보를 파싱해주지 않아서 직접 lua script 로 lag 정보를 가져온 뒤 파싱해주어야합니다. spring data redis 4.
2025-12-30 Redis Stream 내부 메세지 모니터링 pagination Cursor pagination 메세지 조회 모니터링 페이지 제작 기존에 redis stream 메세지 모니터링이 너무 불편했습니다. Intellij 로 redis cluster 접속해서 stream 확인하는데 메세지 수가 많으면 뒤에 메세지 확인하는게 너무 느렸습니다.
2025-12-29 Arxiv 서버 헬스체크 Arxiv API 는 꽤 자주 다운되는 편입니다. 차후 이중화가 필요할 것 같습니다. 일단 현재는 헬스체크를 통해 서비스 상태를 모니터링하도록 설정했습니다. 여기에도 알람을 붙여야겠죠? 추가적으로 iframe 으로 해당 상태체크 페이지를 직접 랜더링 해서 모니터링 시켰습니다.
2025-12-29 CDC table change event 소스 테이블의 스키마가 변경되면? CDC 수행 중 소스 테이블 스키마가 변경되면, Debezium은 변경 이후의 전체 테이블 스키마 정보를 포함한 change event를 생성합니다.
2025-12-26 Grafana Redis Cluster 대시보드 + Stream lag 모니터링 쿼리 기본 샤딩된 stream 별 소비자 그룹 및 컨슈머 lag 모니터링을 추가했습니다. 그리고 link 들어가면 아래처럼 pending 된 메세지들을 확인하는 페이지로 이동하도록 설정하였습니다.
2025-12-24 XACKDEL 미지원, Grafana 대시보드 spring data redis 에 아직 xAckDel 이 반영이 안되어있어서 유틸 만들어서 추가하였습니다. 그래도 결국 extension 함수로 만들어도 lettuce 에서 응답파싱할 때 XACKDEL 응답을 뭘로 파싱해야하는지 몰라서 에러가 납니다.
2025-12-22 Redis Stream 파티셔닝 시 한계점 stream 을 파티셔닝할려고 했는데 생각해보니까 kafka 처럼 파티션을 컨슈머에 할당하는 리밸런싱을 직접 해줘야할 것 같습니다. 그러니까 파티셔닝된 stream 당 하나의 파드내 컨슈머에서 읽을 수 있도록 해야합니다.