82,450건 insert 병목 이슈 해결기

해결기

🧩 문제 상황

2023년 10월 말부터 11월 말까지, 특정 기간 동안 신규 'A' id값 생성 시 장기 미접속자로 전환 처리하던 로직에서 장기 미접속자 전용 테이블에 데이터가 누락되는 현상이 발생했다.

• 원인: 장기 미접속자로 전환 처리하던 기존 스크립트에서 INSERT IGNORE 구문이 누락되어, 중복된 특정 id값이 에러를 유발함.
• 결과적으로 약 82,450명의 유저가 Table A에서는 장기 미접속 처리 상태이지만, 별도로 장기 미접속자를 관리하는 Table B테이블에는 존재하지 않음.
  
  

🔍 문제 인지

• CS 인입과 에러로그를 통해 이슈 인지
• 관련 커밋 비교 및 누락된 쿼리 확인

🔍 문제 진단 (상세 확장 버전)

단순 SQL로는 8만 건 이상의 유저 상태를 직접 확인하고 비교하기 어려웠기 때문에,
Athena 기반의 분석 파이프라인을 구축해 문제 유저를 추출했다.

🛠️ 활용한 분석 흐름

DynamoDB → S3 → Glue → Data Catalog(Crawler & Job) → Athena → Zeppelin

1. DynamoDB (Table A / Table B)
   • Table A에서 장기 미접속 상태 처리가 되어있는 유저 전체 export
   • Table B도 함께 export하여 비교 기반 마련
2. S3에 데이터 업로드
   • DynamoDB dump 데이터를 .parquet 또는 .csv 포맷으로 저장
   • 지정된 S3 버킷에 업로드
3. AWS Glue 작업
   • Glue Job을 통해 데이터를 정제 및 테이블 스키마 구성
   • Glue Crawler를 설정하여 데이터 카탈로그에 테이블 등록
4. Athena 분석 환경 구성
   • Glue Data Catalog에 등록된 테이블을 Athena에서 바로 조회 가능하도록 설정
   • 아래와 같은 SQL을 활용해 문제 유저 필터링

   SELECT id FROM parquet.table_A
   WHERE game = '2' AND 장기 미접속자 처리 상태 = true
   AND id NOT IN (
     SELECT id FROM table_B
   );

5. Zeppelin에서 시각화 및 결과 정리
   • Athena SQL 결과를 Zeppelin에 연동하여,
   • 데이터 확인 및 분석 후 이슈 해결 처리

🔨 해결 과정

1. 스크립트 작성 및 테스트

• 대상자 추출: Athena 통해 추출된 약 82,450명
• 각 유저들의 고유 id에 대해 Table C(플랫폼 데이터 관련 테이블)에서 'B' id 조회
• Table B(장기미접속자 관리 테이블)에 insert, 누락된 데이터를 복구

2. 테스트 환경 검증

• Stage 서버에 테스트 유저 구성 
• 사용자 상태, 연결 테이블 데이터(Table D, Table E) 에 이슈 재현 세팅 후 테스트 진행

3. 스크립트 실행

• INSERT IGNORE 적용
• update 시 유저의 상태를 장기 미접속 상태로 변경 처리
• QA 테스트 계정 정상 연동 확인 후, 전 이슈 유저 대상 스크립트 실행

4. 기타 고려 사항

• 스크립트 실행 시간이 꽤 걸릴 것으로 예상되어 낮(근무 시간)에 실행시킬지, 유저가 적은 시간대에 실행 시킬지도 고민이었다.
• 장기미접속자 처리같은 경우 처리 도중 유저가 접속해도 괜찮다고 판단
• 도중에 접속해서 접속 상태가 활성화 된 유저는 스크립트 대상에서 자연스럽게 제외됨
• 82,450건의 처리인데, 몇 건씩 나누어 처리 후 sleep 시킬 건지 (5,000건씩 select후 처리는 1,000건씩 진행하였다)

5. 결과

• Table C 테이블 기준으로 'A' id값 복구 성공
• 약 79,787건 insert 완료, 오류 없이 처리됨

📘 인사이트 & 회고

• 단순 쿼리 한 줄 누락으로 인해 대규모 데이터 누락 및 duplicated 에러 발생 가능
• INSERT IGNORE 같은 작은 방어 로직의 중요성 인지
• Athena를 활용한 대규모 유저 검출이 유용했음
• 테스트 환경 구성 시 실제 서비스 상태 재현의 중요성 재확인
• 어드민과 스크립트 로직 사이의 일관성 확보 필요
• 스크립트 작성 및 실행시에도 디테일하게 고려해야할 부분이 많음
  
  

---

이 포스트는 실제 실무에서 겪었던 대용량 트러블슈팅 사례를 바탕으로 작성되었습니다.
문제 발견시 댓글 부탁드리고, 따뜻한 조언은 언제나 환영입니다 :)