앱 EC2 한 대·기존 RDS·로컬 k6를 사용한다. 같은 시간 다른 팀의 공유 자원 부하를 피한다. 테스트는 perf 앱과 별도 perf- DB, 발표는 prod 설정을 사용한다. 실제 PG에는 부하를 주지 않는다. 정상 가짜 PG 지연 300ms, 거절/unknown/유실 비율은 0이다.
| 실험 | 시드 | queue.required | 점유 TTL | 입장 작업 | 풀 |
|---|---|---|---|---|---|
| H 판매 off/on | sale, 재고 1,000과 워밍업 드롭 | false / true | PT5M | on은 사전 결정 N·fixedDelay 1초 | 선택한 값 고정 |
| B1 탐색·B2 유지 | capacity | false | PT30M | 기본 유지 | 비교 변인 외 고정 |
| Q 폴링 비용 | base, queue prefill=0 | true | PT5M | scheduler.enabled=false | 고정 |
비밀값 없는 실행 manifest에 이미지 digest·커밋, 시드/스크립트 해시, DB 행 수·SKU 재고 분배, EC2/RDS 사양·IO·CPU 크레딧, JVM·Tomcat·Hikari·PG·TTL·스케줄러 설정과 UTC를 기록한다. 비교 중 고정한다. perf.env(root 소유 600)는 권한 있는 편집기로 변경하고 비밀값은 출력하지 않는다. 필요한 키:
- RESTLESS_DROP_QUEUE_REQUIRED, RESTLESS_DROP_RESERVATION_TTL
- RESTLESS_DROP_QUEUE_ADMIT_PER_RUN, RESTLESS_DROP_QUEUE_SCHEDULER_ENABLED, RESTLESS_DROP_QUEUE_SCHEDULER_FIXED_DELAY_MS
- SPRING_DATASOURCE_HIKARI_MAXIMUM_POOL_SIZE
유효 설정은 앱 재생성과 런타임 지표로 확인한다. check가 풀 크기를 검증한다고 가정하지 않는다. EC2 도구의 start는 배포 중지·perf 컨테이너 생성이다. EC2 재시작 후 자동 perf 실행은 보장되지 않는다. finish는 perf 삭제·자동 배포 재개이며 테스트 sha 대신 최신 :dev가 뜰 수 있다. 발표 이미지와 측정 이미지를 구분한다.
- 전 실행 원자료·verify를 그 실행의 결과 폴더에 저장 → stop-app → reset-db → 같은 이미지 start(Flyway) → stop-app → seed → 새 CSV/manifest 전달 → start. refresh는 초기화가 아니다.
- Prometheus 5초 수집·DB/OS·k6 원자료 수집을 시작하고 비밀값 없는 설정을 저장한다. 실행마다 결과 폴더
.ai-output/perf/<날짜>-<실험>/를 하나 만들고 그 안에만 저장한다. 이 폴더는 커밋하지 않는다. - B는 30건/초 60초 워밍업. 고정 부하에서 첫/뒤 30초의 서버 처리·연결 사용·JIT/GC·CPU를 비교한다. 지속 추세나 10% 이상 차이가 있으면 동일 조건 워밍업을 연장하고 본 측정 전 길이를 고정한다. 두 창 유사만으로 안정성을 증명했다고 쓰지 않는다.
- H는 핫 재고를 소비하지 않는 동일 구조의 별도 워밍업 드롭/계정을 사용한다.
sale계열 스케일이 워밍업 드롭을 만들고drop-sale.js가 판매 전에 그 드롭으로 보낸다(#219). 워밍업 뒤 핫 드롭 재고=1,000·활성 거래=0을 확인한다. 워밍업을 위해 측정 직전 앱을 재시작하지 않는다. - 측정 후 진행 중 거래를 관측·수렴 확인하고 verify·DB 대조·설정·원자료를 같은 결과 폴더에 저장한다. 불확실 거래를 임의 실패로 닫지 않는다.
재고 1,000·참여자 10,000명을 고정한다. 예정 유입은 0→1,000명/초를 5초 증가(2,500명), 이후 1,000명/초 7.5초(7,500명)이며 이후 신규 유입은 0이다. 정수 스케줄링 오차·미전송을 실제 회원 도착 로그와 대조한다. 각 회원은 한 번 진입하고 자동 재시도로 새로운 회원처럼 세지 않는다.
- off: 즉시 점유. on: POST queue/entries → 2초마다 조회 → 입장 후 점유. 성공 점유는 정상 가짜 PG 결제까지 연결한다. 2초는 실험 가정이지 API 계약상 의무가 아니다.
- 기존 drop-reservation-spike.js로 off의 점유 기준선은 측정 가능하다. 기본 HOLD=20초라 예정 iteration은 10,000보다 많고 초과 iteration을 skip한다. 이것을 정확한 H 스케줄 구현이라고 하지 않는다. H의 정확한 시간표·전체 결제·on 흐름은 도구 보완 후 비교한다.
- on/off는 같은 회원별 예정 도착 시간표·재고·SKU·정상 결제 행동을 사용한다. 폴링 때문에 전체 HTTP RPS는 다르다. API별 지연을 섞은 전체 p99만으로 개선을 주장하지 않는다.
- 입장 N은 B2로 확인한 C에서 min(200, floor(0.7×C))를 출발값으로 고정한다. 기본 N=100. fixedDelay여서 실제 속도는 N/(1초+실행 시간) 부근이며 admitted 증가율과 배치 시간을 보고한다. C 확인 전 H on 예비 실행은 기본 N=100으로 명시한다.
- 신규 유입 종료 후 최소 120초, 최대 300초 관측한다. 폴링 최고 부하·품절·대기 배출까지 포함한다. 끝나지 않은 회원은 미완료와 경과시간을 공개하고 완료자만으로 전체 구매 지연을 대표하지 않는다.
- PT5M과 300초 관측은 겹칠 수 있다. 창별 점유 만료 수·backlog·재고 반환을 기록한다. 종료 후 대기자를 인위적으로 지워 성능 회복을 만들지 않는다.
- 첫 available=0(점유로 일시 소진)과 최종 순판매 1,000(반환되지 않는 확정 판매)을 구분한다. 이후 반환·재시도에 따른 가용 재고 변화를 기록한다. 품절 이후 대기한 인원·시간의 기준 시각을 둘 다 보고한다.
- 생성기 사전 점검 후 H off 기준선 1회 → 병목 실험 → 최종 off 3회/on 3회 순으로 실행한다. 기준선 3회는 최종 변경 전 보완하고 이미 유효한 기준선 1회는 재사용한다.
버스트 시작부터 폴링 최고 부하를 거쳐 관측 종료까지 구매·품절·진입·조회 p95/p99, 오류·서버 CPU·Hikari 대기·DB 부하·대기자 수를 같은 축으로 비교한다. 10초 창과 전체 결과를 공개한다. 구매가 계속 보호되면 회복 시간은 해당 없음, 악화됐다면 복귀 시각·60초 유지 여부를 보고한다. 표본 없는 창은 통과가 아니다.
대기열이 없을 때 정상 품절이 빠르게 반환된다면 대기열이 더 느리고 비쌀 수 있다. 보호 효과를 전제하지 않고 관측 결과로 채택 여부를 판단한다. 품절 뒤 대기자 종료 정책은 변경하지 않는다.
capacity는 성공 경로 분석용 합성 데이터이며 대표 H 재고를 늘리는 것이 아니다. 30건/초 60초 워밍업 → 50→350건/초 480초 증가 → 350→30건/초 30초 감소 → 30건/초 90초 관측. 총 계획 106,200건이다.
워밍업은 CSV 0~1,799행, 측정은 1,800행부터의 고정 오프셋을 사용한다. 각 시나리오 iterationInTest는 시나리오 안에서만 유일하다. 공유 JS 카운터나 실행 전체 고유 ID를 전제하지 않는다. 워밍업 길이를 늘리면 오프셋·전체 계정 예산도 같이 갱신한다. 분리 시나리오 startTime으로 전환하고 0초 stage를 쓰지 않는다. 로컬 검증으로 planned/started/dropped·계정 중복과 경계를 대조한다.
탐색은 조건당 1회, 목표 판정 없이 한계 후보·최초 포화 자원을 찾는다. 30초 창별 지연·서버 지표를 공개한다. TTL=30분, 만료 카운터 0을 확인한다.
후보 r에서 30건/초 60초 워밍업+ r건/초 180초, 계획 계정=1,800+180r. C는 지연·오류·정합성과 미전송 0을 만족한 최고 검증값이며 연속적 최대값을 증명한 것이 아니다. 탐색에서 찾은 후보를 우선 확인하고 실패하면 낮춘다. 기준선·최종안은 각 C에서 3회, 후보 찾기는 각 1회로 제한한다. 같은 부하 전후 지연도 함께 비교한다.
잠금 보유 시간은 UPDATE 호출시간(잠금 대기 포함)과 분리해 획득 완료→커밋까지 잰다. 앱 타이머의 커밋 경계/조건부 UPDATE 실행시간 추정 오차를 명시하고 필요하면 DB 계측과 대조한다. 잠금 보유 계측은 도구 준비의 1순위다. 계측 경계·오버헤드를 로컬에서 검증하기 전에는 잠금 모델 기반 목표를 확정하거나 변경 전후 B 본 실험을 시작하지 않는다. 계측 불가 시 모델 검증을 수행하지 못한 것으로 보고한다. 예측 C_pred와 실측 차이를 숨기지 않는다.
| 반증 대조 | 횟수·조건 | 판단 |
|---|---|---|
| 풀 10/20/40 | 동일 커밋·SKU·부하 곡선에서 각 1회 탐색 | 40에서 이득 없고 잠금 대기만 증가하면 풀 증설 선택 기각. RDS 연결 한도와 메모리 여유를 먼저 확인 |
| SKU 1/3 | 풀 고정, 총재고·데이터 크기·요청당 기능은 같게, 각 1회 | 분산 효과와 예측 오차를 비교. 아래 capacity_single 스케일로 총재고 210,000개를 한 SKU에 배정 |
| 잠금 구간 전/후 | 변경 하나, 동일 조건 탐색·최종 유지 | G0과 품절 경로 비용 함께 확인. 외부 PG 호출을 TX로 넣지 않음 |
SKU 1개 조건은 scale.yml에 새 capacity_single 구역을 추가하는 시드 준비 작업으로 만든다. capacity의 users=210000, drop_hot_stock=210000, contention_ratio=1, drop_bg_drops=100, drop_bg_reservations=100000을 복사하고 drop_hot_variants=1을 추가한다. 스케일 구역끼리 상속되지 않으므로 이 값들을 생략하지 않는다. 기존 common과 시드 SQL은 스케일 값을 사용하며 스크립트 로직 변경을 전제하지 않는다. 스케일은 #219에서 추가한다. 로컬 시드 후 manifest·실제 hot SKU 수=1·재고=210,000, B1 계획 106,200건보다 충분한지 확인한다. 3개 조건은 capacity를 쓰며 hot 재고 70,000개씩이다. 배경 데이터와 총재고는 동일하게 유지한다.
300건/초와 1.5배는 실험 전 도전 제안이다. 측정한 잠금 시간·풀·CPU 모델로 달성 경로를 설명할 수 있는지 목표 확정 기록에 남긴다. 수치만 맞추려고 인덱스·풀·코드를 한꺼번에 바꾸지 않는다.
| 관측 조합 | 후보 | 다음 확인·반증 |
|---|---|---|
| Hikari acquire/pending 급증, DB·앱 여유 | 풀 또는 연결 보유가 긴 작업 | 풀 대조·usage·TX 추적. pending 하나로 원인을 확정하지 않음 |
| SKU 집중 때 lock wait 증가, 획득 후 보유 구간 김 | hot row | SKU 1/3·잠금 구간 축소. 다른 포화가 먼저면 단독 원인 가설 수정 |
| EC2 CPU 포화·스레드 runnable 증가, 지연 동반 | 앱 연산·GC | CPU/GC/프로파일. 잠금 대기도 공존 가능하므로 잠금 가설 전체를 즉시 기각하지 않음 |
| RDS CPU/IO latency/queue 증가 | SQL·저장장치 | SQL별 시간·실행 계획·IO 대조. 인스턴스 사양 변경 전 쿼리 비용 확인 |
| Tomcat busy 포화, PG 대기·Hikari 대기 | 스레드 고갈의 상위 원인 | TX 밖 PG 지연·연결 대기 구분. busy만 보고 스레드를 늘리지 않음 |
| 클라이언트만 악화·서버 안정 | 생성기·네트워크 | 로컬 자원·dial timeout·연결 지표. 증거 없으면 미판정 |
H의 on 전체 실행 전에는 생성기와 폴링의 안전 상한만 점검한다. 상세 Q 실험은 on/off 뒤 우선순위다. 생성기 한계로 H 원안을 만들지 못하면 생성기 제한에 따른 미검증, 유효한 유입을 넣었는데 서비스가 오류·지연 목표를 위반하면 성능 실패로 기록한다. 둘을 혼동하지 않는다. 원인 미상이면 미판정이다.
대체 진단은 실행 전에 다음 순서로 고정한다: H(재고 1,000·참여자 10,000·최고 1,000명/초) → H-small(500·5,000·500명/초) → H-mini(200·2,000·200명/초). 모두 경쟁률 10:1, 5초 선형 증가+7.5초 유지, 나머지 정책·관측은 동일하다. 각 조건의 on/off는 같은 별도 시드·시간표로 비교한다. 축소 시드는 sale_small, sale_mini 스케일이다(#219). 대표 H의 재고 1,000개는 유지하며 축소 조건은 원안 합격을 대신하지 않는 별도 진단 결과다. 생성기/폴링 상한이 허용하는 최대 조건부터 실행하고 실패한 서비스 조건의 원자료도 남긴다. 대체 진단은 아래 재실행 3회 예산 안에서 우선 실행하며 3회 반복 성과로 주장하려면 예산을 별도 재산정한다.
대기자 100/500/1,000/2,000, 통과하면 5,000/10,000명으로 확장한다. 스케줄러 끔, prefill=0. 신규 입장은 초당 50명으로 고정해 N명까지 채운다. 예정 입장 시간은 N/50초(10,000명이면 200초)이며 신규 유입 종료 후 인원 안정화를 확인한다. 단계마다 진입률을 임의로 바꾸지 않고, 목표 진입률을 못 만들면 진입 경합과 생성기 원인을 분리한다. 각 VU는 API 입장 즉시 2초 폴링하며 먼저 입장한 사람도 계속 heartbeat를 유지한다. N명 WAITING 안정화 뒤 60초 워밍업·120초 측정. 인원 미달/404·이탈이면 해당 N 고정 실험 실패다.
Q_max는 지연/오류 기준과 생성기 여유를 만족한 최대 확인 N이다. 상태 조회가 쓰기 TX·COUNT 순번 계산임을 고려해 N·조회 RPS·CPU·SQL 실행 수·검사 행 수·IO를 기록한다. DB 지표의 구간 증가분/관측 초를 1,000명당으로 정규화하되 선형 비용이라고 가정하지 않는다. 빠른 응답 대상으로 생성기 한계를 대조하고 CPU p95≤80%, 메모리 여유≥20%를 사전 기준으로 쓴다.
heartbeat 쓰기 간격 완화·근사 순번·뒤 순번 긴 폴링은 후속 개선 후보다. 30초 이탈 의미·응답 계약·부하 패턴에 영향이 있으므로 이번 문서가 정책 변경을 승인하는 것은 아니다.
사용 가능한 AWS 기간은 2026-12-07까지로 보고 마지막 2일은 재현·정리에 남긴다. AWS 비용 한도는 팀 전체 75,000원(2026-12-07까지)이고 EC2·RDS 실행 시간만큼 차감된다. 인프라를 추가하지 않는다. 아래는 실행 시간 추정이고 측정한 시드 시간이 아니다. 초기 계획은 실행당 준비 15~20분으로 잡는다. 준비는 stop부터 reset 확인·Flyway health·시드·토큰 전달·두 번째 health까지이며 아래 측정 시간의 워밍업은 중복 포함하지 않는다. 첫 실행에서 각 단계의 시작/끝 UTC와 사람 대기 시간을 재고 전체 예산을 다시 계산한 뒤 나머지 실험을 예약한다. health 대기는 기동당 최대 180초이고 시드 시간도 환경에 따라 달라진다. 첫 실측이 20분을 넘으면 실측값으로 상향하며 10분으로 되돌려 낙관적으로 계산하지 않는다.
| 묶음 | 최대 실행 수 | 측정·관측/회 | 준비 포함 예산 |
|---|---|---|---|
| H 기준선/최종 off/on | 9(각 3) | 약 6분 | 189~234분 |
| B 풀 탐색·SKU 반증·변경 탐색 | 6(중복 조건 재사용) | 약 12분 | 162~192분 |
| B 기준선/최종 C 유지 | 6 | 약 4분 | 114~144분 |
| B 후보 재탐색 | 2 | 약 4분 | 38~48분 |
| Q | 6단계, 각 1회 | 약3~7분(입장 포함) | 합계 약 117~147분 |
합계 최대 29회·약 10시간 20분~12시간 45분의 준비/실행 예산이다. Q 입장 시간 합계는 372초(18,600명/50명/초), 워밍업·측정은 18분, 인원 안정화 대기는 약 3분으로 합산해 반올림했다. 생성기 사전 점검·도구 개발·분석·실패 재실행은 별도다. 추가/축소 재실행은 최대 3회·약 1시간 30분을 예약하고 넘으면 원인을 정리해 범위를 축소한다. 하루 작업 종료 시 EC2/RDS 사용 계획을 확인한다. 초기 예산을 넘으면 H·병목 검증을 우선하고 상세 Q·추가 개선 비교를 후속으로 미룬다. 기존 데이터 재사용은 동일 조건·원자료·정합성 증거가 있는 경우만 허용한다.
도구 준비 순서는 아래와 같다. 괄호의 PR이 머지되기 전에는 구현 완료로 간주하지 않는다. EC2에서는 아직 실행하지 않았다.
- 잠금 보유 시간 계측 (#217):
drop.inventory.hold.update가 UPDATE 호출 시간(잠금 대기 포함),drop.inventory.lock.held가 UPDATE 완료→트랜잭션 종료다. 앱에서 재므로 UPDATE 응답과 커밋 왕복이 더해진다. 계측 오버헤드는 아직 재지 않았다. 잠금 모델 기반 B 실험의 선행 조건이다. - 시드 (#219): H용 별도 판매 중 워밍업 드롭·전용 계정·SKU를 시드 또는 관리자 API 준비에 추가한다. 현재 시드는 판매 중 핫 드롭 하나뿐이므로 기존 데이터를 그대로 쓸 수 없다. 워밍업 뒤 측정 핫 드롭 재고·거래가 오염되지 않았는지 확인한다.
capacity_single,sale_small,sale_mini도 같은 PR에 있다. - 부하 도구 (#215): H 정확한 시간표·대기열 전체 흐름·정상 결제, B 연속 증가/유지·고정 오프셋, Q 초당 50명 진입과 즉시 폴링.
- 관측·검증: 시작/종료 카운터와 5초 서버 수집은 #215, 품절 결과별 서버 타이머는 #217에 있다. k6 원자료는
--out json으로 남긴다. SQL 계측, 성공 수/DB 대조 자동화, 준비 시간 단계별 기록은 남은 작업이다. k6는 예정 도착 시각을 주지 않아 원자료에는 실제 시작 시각만 남는다.
도구를 먼저 로컬 검증한 뒤 EC2에 적용한다.
PG 장애 복구(G6/E5)는 이번 범위 밖이다. 향후 결정적 유실 주입·스케줄러 활성·메모리 PG 재시작 제약과 묶인 재고를 포함한 별도 계획을 작성한다. 중복·동시 구매/환불·이중 반환은 기존 통합·동시성 테스트를 변경 안전망으로 수행하되 별도 성능 목표로 세지 않는다.