본문으로 건너뛰기

S3 오브젝트 스토리지 - AWS 아키텍처 #5

S3는 파일을 키 하나로 저장하고 읽는 AWS의 객체 스토리지다. 업로드 API 한 줄로 시작할 수 있지만 운영에 들어가면 비용, 보호, 권한, 속도를 따로 정해야 한다. 이 글은 S3 버킷을 설계할 때 정해야 하는 것들을 순서대로 다룬다. 데이터를 어느 스토리지 클래스에 두는지, 수명 주기 규칙으로 언제 옮기고 지우는지, 버전 관리와 Object Lock과 복제로 어떻게 보호하는지, 어떻게 암호화하고 누구에게 접근을 허용하는지, 업로드와 다운로드를 어떻게 빠르게 하는지다. 절마다 요구 조건이 하나 바뀌면 구성이 어떻게 달라지는지를 사례로 붙였다.

한 장 그림

전체 구조

S3 전체 구조: 접근 제어가 요청을 판단해 버킷의 객체 키에 닿고, 버킷은 버전, 수명 주기, 암호화를 갖추며 복제와 이벤트로 밖에 연결된다.

스토리지 클래스와 수명 주기 전환

S3 스토리지 클래스와 수명 주기 전환: 수명 주기 규칙이 Standard에서 아래 클래스로 객체를 옮기고, 아카이브 클래스는 복원 요청 후 임시 사본을 읽는다.
  • 과금 주의: ① 최소 보관 30/90/180일 전에 삭제해도 청구된다. ② IA, Glacier IR은 객체당 최소 128KB로 청구한다. ③ 검색 요금 때문에 자주 읽으면 Standard보다 비싸다.
  • EBS 스냅샷, RDS/DynamoDB 백업은 수명 주기 대상이 아니다. AWS Backup을 쓴다.
  • S3 Express One Zone은 단일 AZ에서 한 자릿수 ms로 응답하는 디렉터리 버킷이다. 같은 AZ 컴퓨팅의 ML, 분석에 쓴다.

데이터 보호와 암호화

S3 데이터 보호와 암호화: 버전 관리를 바탕으로 Object Lock과 복제를 쌓아 보호하고, 저장 시 암호화 방식과 전송 중 암호화 강제를 정한다.

접근 경로와 성능

S3 접근 경로와 성능: 웹 사용자, 업로더, 서명된 URL, 다른 계정, VPC, 외부 계정의 요청이 모두 접근 판단을 거쳐 비공개 버킷에 닿고, 대용량은 병렬로 내려받는다.
  • S3 직접 접근을 막고 CloudFront로만 열려면 OAC를 쓴다. 버킷을 퍼블릭으로 열지 않는다.
  • SSE-KMS를 쓰면 KMS 할당량이 먼저 병목이 된다. Bucket Key로 줄인다.

버킷, 객체, 키

애플리케이션에서 S3에 파일을 올릴 때 SDK에 넘기는 값은 버킷 이름, 2026/11/15/app.log 같은 키, 파일 내용이다. 버킷은 객체를 담는 최상위 저장 단위이고 객체는 키로 찾는 데이터 하나다. 키에 /가 들어 있어 폴더처럼 보여도 S3에는 디렉터리가 없고 그 앞부분은 키 문자열의 접두사일 뿐이다.

구성 요소 하는 일 설계할 때 볼 점
버킷 객체를 담는 최상위 저장 단위 리전 리소스다. 이름은 전 세계에서 고유하다. VPC 안에 들어가지 않으므로 VPC에서는 엔드포인트로 접근한다([AWS 아키텍처 1])
객체 / 키 저장한 데이터 하나와 그 이름 문자열 디렉터리 개념이 없다. a/b/c.txt는 키 하나다. 객체 최대 크기는 50TB다(2025-12에 5TB에서 상향)
접두사(prefix) 키의 앞부분 성능 한도가 접두사 단위로 걸린다(성능 절)
일관성 쓴 직후 읽었을 때 방금 쓴 값이 보이는지 강한 read-after-write 일관성(덮어쓰기, 삭제 포함). 예전 자료의 "최종 일관성" 설명은 지금은 맞지 않는다
내구성 저장한 데이터를 잃지 않을 확률 11 9s(99.999999999%). 여러 AZ에 중복 저장한다. One Zone 계열만 AZ 1개에 둔다

스토리지 클래스

PutObject를 호출할 때 StorageClass를 지정하지 않으면 객체는 Standard에 저장된다. 스토리지 클래스는 객체마다 고르는 저장 등급이다. 드물게 읽는 데이터용 클래스일수록 GB당 보관비가 싼 대신 꺼낼 때 요금이 붙거나 시간이 걸린다.

클래스 조회 지연 최소 보관 검색 요금 맞는 데이터
Standard ms 없음 없음 자주 읽는 데이터. 기본값
Intelligent-Tiering ms(아카이브 티어를 켜면 예외) 없음 없음(객체당 모니터링 요금) 접근 패턴을 모르거나 불규칙한 데이터. 접근 빈도를 보고 티어 사이를 자동으로 옮긴다
Standard-IA ms 30일 있음 드물게 읽지만 읽을 땐 즉시 필요하고 다중 AZ가 필요한 데이터
One Zone-IA ms 30일 있음 다시 만들 수 있는 데이터(썸네일, 2차 사본). AZ 장애 시 소실된다
S3 Glacier Instant Retrieval(Glacier IR) ms 90일 있음(IA보다 비쌈) 분기 1회 정도 꺼내고 꺼낼 땐 즉시 조회
S3 Glacier Flexible Retrieval(Glacier Flexible) 분~시간 90일 있음 연 12회 꺼내고 몇 분몇 시간 기다려도 되는 데이터
S3 Glacier Deep Archive(Deep Archive) 12~48시간 180일 있음 규정상 7~10년 보관하고 거의 꺼내지 않는 데이터. 최저가

Glacier 복원 옵션(검색 등급)

Expedited Standard Bulk
Glacier Flexible 1~5분 3~5시간 5~12시간
Deep Archive 없음 12시간 이내 48시간 이내
  • Glacier Flexible과 Deep Archive 객체는 복원(restore)을 요청한 뒤 생기는 임시 사본을 읽는다. Glacier IR은 복원 절차 없이 바로 GET한다.
  • Expedited 용량을 반드시 보장해야 하면 프로비저닝된 검색 용량을 산다.

설계할 때 알아 둘 점

  1. 최소 보관 기간: 30/90/180일 전에 지우거나 옮겨도 남은 일수만큼 청구된다.
  2. 최소 객체 크기: IA 계열과 Glacier IR은 객체당 128KB로 계산한다. 작은 파일이 수백만 개면 오히려 손해다. Intelligent-Tiering도 128KB 미만 객체는 자동 이동 대상이 아니다.
  3. 검색 요금: IA 계열과 Glacier 계열은 GB당 꺼내는 비용이 붙는다. 자주 읽으면 Standard보다 비싸다.

S3 Express One Zone은 단일 AZ에 두는 초저지연(한 자릿수 ms) 클래스로, 전용 "디렉터리 버킷"을 쓴다. ML 학습이나 분석에서 같은 AZ의 컴퓨팅이 초고속으로 읽는 용도다.

사례 1. 꺼내는 빈도와 기다릴 수 있는 시간에 따라 바뀌는 클래스

같은 "싸게 보관하기"라도 얼마나 자주 꺼내는지, 꺼낼 때 얼마나 기다릴 수 있는지에 따라 고를 클래스가 달라진다.

상황 A. 거의 꺼내지 않지만 꺼낼 땐 몇 분 안에 보험사가 종료된 계약 문서의 스캔 이미지 약 400TB를 Standard에 두고 있다.

  • ① 규정상 10년 동안 보관해야 하고 열람은 분쟁이 접수될 때만 1년에 한두 번 한다.
  • ② 분쟁이 접수되면 담당자가 문서 몇 건(파일당 약 20MB)을 몇 분 안에 확인해야 한다. ms 단위 즉시 조회는 필요 없다.
  • ③ 이 조건을 지키면서 보관비를 최대한 줄여야 한다.

해결. Glacier Flexible + Expedited 복원이다. 보관 단가가 Glacier IR보다 낮고(③) Expedited로 보통 1~5분 안에 복원된다(②, 250MB 미만 객체 기준). 파일이 수십 MB라서 객체당 붙는 약 40KB의 메타데이터 과금도 무시할 만하다. 세 조건을 모두 만족하는 구성은 이것이다.

  • Standard-IA: 몇 분 조건(②)은 지킨다. 하지만 Glacier 계열보다 보관 단가가 몇 배 비싸서 400TB를 10년 두면 차이가 크다(③).
  • Deep Archive: 가장 싸지만 Expedited가 없다. Standard 검색은 12시간 이내라서 "몇 분 안에"(②)를 지키지 못한다.
  • Glacier IR: 조건(②)은 지킨다. 하지만 분기 1회 정도 꺼내는 데이터에 맞춘 클래스라 GB당 보관 단가가 Glacier Flexible보다 높다. 1년에 한두 번 꺼내는 데이터라면(①) 매달 내는 보관비 차이가 몇 건 복원하는 검색 요금보다 크다(③).

프로비저닝된 용량 없이 하는 Expedited 요청은 수요가 몰리면 거절될 수 있다. 몇 분 복원을 반드시 보장해야 하면 프로비저닝된 검색 용량을 함께 산다. 조건이 바뀌면 답도 바뀐다. 12~48시간 기다려도 되면 Deep Archive, 분기 1회 꺼내면서 ms 조회가 필요하면 Glacier IR이다.

상황 B. 접근 패턴을 예측할 수 없는 영상 미디어 스타트업이 사용자가 올린 영상을 S3에 저장한다. 게시 직후 몇 주 동안 자주 재생되다 잠잠해지는 영상도 있고 몇 달 뒤 갑자기 다시 인기를 얻는 영상도 있다.

  • ① 재생 요청에는 지연 없이 응답해야 한다.
  • ② 여러 AZ에 걸친 가용성이 필요하다.
  • ③ 운영팀은 접근 패턴을 분석하거나 수명 주기 규칙을 계속 조정하는 데 시간을 쓰고 싶지 않다.

해결. Intelligent-Tiering이다. 객체별 접근을 보고 자주 쓰는 티어와 드물게 쓰는 티어 사이를 자동으로 옮긴다. 다시 인기를 얻어도 검색 요금이 없고 규칙을 조정할 필요도 없다(③). 영상은 128KB보다 훨씬 크므로 자동 이동 대상이다.

  • Standard-IA: GB당 검색 요금이 있다. 다시 인기를 얻은 영상이 자주 재생되면 Standard보다 비싸진다.
  • One Zone-IA: AZ 하나에만 저장하므로 여러 AZ 가용성 조건(②)에 맞지 않는다. 검색 요금 문제도 같다.
  • 30일 후 Glacier IR로 전환하는 수명 주기 규칙: 30일이 지난 뒤 다시 인기를 얻는 영상에 검색 요금이 붙고 90일 최소 보관 기간도 있다. 예측할 수 없는 접근 패턴에는 고정 일수 규칙이 맞지 않는다(③).

30일 뒤부터 접근이 불규칙해지고 고가용성이 필요한 데이터도 Intelligent-Tiering 하나면 된다. Standard-IA를 함께 두면 같은 역할을 두 번 맡기는 셈이고 One Zone-IA는 고가용성 조건에 맞지 않는다.

수명 주기 규칙

로그나 빌드 산출물을 S3에 쌓기만 하면 아무도 다시 읽지 않는 객체가 처음 저장한 클래스 요금으로 계속 남는다. 수명 주기 규칙은 버킷에 걸어 두는 설정으로, 객체가 만들어진 지 N일이 지나면 더 싼 클래스로 옮기거나 삭제한다. 정리용 배치 작업을 따로 짜지 않아도 S3가 규칙대로 처리한다.

동작 내용 예
전환(Transition) 일정 기간 후 하위 클래스로 이동 30일 후 Standard-IA, 90일 후 Glacier Flexible
만료(Expiration) 일정 기간 후 삭제 365일 후 삭제
이전 버전 만료 버전 관리 버킷에서 덮어써진 옛 버전만 정리 이전 버전은 30일 후 삭제
미완료 멀티파트 업로드 정리 실패한 업로드 조각 삭제(AbortIncompleteMultipartUpload) 시작 후 7일 지난 미완료 업로드 삭제
  • 규칙은 접두사나 태그로 범위를 좁힐 수 있다.
  • Standard에서 Standard-IA나 One Zone-IA로 옮기는 전환은 생성 후 30일이 지나야 가능하다. "7일 후 Standard-IA로" 같은 규칙은 만들 수 없다.
  • 수명 주기는 S3 객체에만 적용된다. EBS 스냅샷, RDS/DynamoDB 백업은 대상이 아니다. 이런 백업은 AWS Backup으로 관리한다([AWS 아키텍처 6]).
  • 멀티파트 업로드를 쓰는 버킷이면 실패한 업로드의 조각이 객체 목록에 보이지 않은 채 남아 요금이 나간다. 미완료 멀티파트 업로드 정리 규칙을 함께 둔다.

사례 2. 콘솔에 보이는 용량보다 청구 용량이 클 때

상황 버전 관리가 켜진 버킷에 매일 수십 GB의 빌드 산출물을 올린다. 파일은 대부분 1~5GB이고 CI 서버가 멀티파트 업로드로 올리는데 네트워크 문제로 업로드가 중간에 실패하는 일이 잦다. 애플리케이션은 같은 키로 새 산출물을 덮어쓰고 14일이 지난 산출물은 삭제한다. 그런데 콘솔에서 보이는 객체 용량보다 청구되는 스토리지 용량이 훨씬 크고 계속 늘고 있다.

  • ① 실수로 덮어쓰거나 삭제한 산출물은 7일 이내라면 복구할 수 있어야 한다.

원인. 보이지 않는 데이터가 두 군데에 쌓이고 있다.

  • 버전 관리 버킷에서 덮어쓰거나 지우면 옛 버전이 이전 버전(noncurrent)으로 계속 남아 과금된다. 콘솔 기본 화면에 안 보이는 용량이 이것이다.
  • 실패한 멀티파트 업로드의 파트는 객체 목록에 보이지 않지만 저장 요금이 계속 나온다.

해결. 원인마다 규칙을 하나씩 둔다.

  1. 이전 버전이 된 지 7일이 지난 버전을 영구 삭제하는 규칙을 두면 7일 복구 요건(①)은 지키면서 오래된 버전은 정리된다.
  2. 일정 기간이 지나도 완료되지 않은 업로드를 중단하고 파트를 삭제하는 규칙(AbortIncompleteMultipartUpload)으로 정리한다.

그럴듯하지만 효과가 없거나 요건을 깨는 조치

  • 버전 관리를 일시 중지해도 이미 쌓인 이전 버전은 그대로 남는다. 앞으로 덮어쓴 파일도 복구할 수 없게 되므로 7일 복구 요건(①)이 깨진다.
  • 모든 객체를 Intelligent-Tiering으로 옮겨도 이전 버전과 미완료 파트라는 보이지 않는 데이터는 그대로다.
  • MFA Delete(다음 절)는 영구 삭제를 더 어렵게 만드는 기능이라 정리 자동화와 방향이 반대다.

데이터 보호: 버전 관리, MFA Delete, Object Lock, 복제

배치 스크립트의 버그로 DeleteObject가 엉뚱한 키에 호출되거나 같은 키에 잘못된 파일을 덮어쓰면 버전 관리가 없는 버킷에서는 이전 내용을 되살릴 수 없다. 버전 관리를 켜면 덮어쓰기나 삭제가 일어나도 이전 버전이 남는다. 여기에 삭제 자체를 막는 Object Lock과 다른 버킷에 사본을 두는 복제를 더해 데이터를 보호한다.

기능 하는 일 설계할 때 볼 점
버전 관리 같은 키의 이전 버전을 보관한다 삭제하면 삭제 마커만 붙고 이전 버전은 남으므로 실수로 지운 객체를 복구할 수 있다. 한 번 켜면 끌 수 없고 "일시 중지"만 가능하다
MFA Delete 버전 영구 삭제와 버전 관리 해제에 MFA를 요구한다 루트 계정만 설정할 수 있다
Object Lock 정해진 기간 동안 객체의 덮어쓰기와 삭제를 막는다(WORM) 버전 관리가 필수다
복제(CRR/SRR) 다른 버킷으로 객체를 비동기 복제한다 양쪽 버킷 모두 버전 관리가 필수다

Object Lock 모드

규정 준수(Compliance) 모드 거버넌스(Governance) 모드 법적 보존(Legal Hold)
누가 풀 수 있나 아무도 못 푼다(루트 포함). 기간 단축도 불가 특별 권한(s3:BypassGovernanceRetention)이 있으면 가능 s3:PutObjectLegalHold 권한으로 해제
기간 보존 기간 지정 보존 기간 지정 기간 없음(해제할 때까지)
맞는 경우 SEC, 금융 규제처럼 "누구도 삭제 불가" 테스트, 관리자만 예외 허용 소송, 조사 중 무기한 보존

복제: CRR vs SRR

교차 리전 복제(CRR) 같은 리전 복제(SRR)
용도 DR, 규정상 원격지 사본, 다른 리전 사용자 지연 감소 로그 집계, 운영/테스트 계정 간 동기화, 같은 리전 안에서 데이터 주권 유지
  • 복제는 설정 이후 새로 쓴 객체만 대상이다. 기존 객체는 S3 Batch Replication으로 복제한다.
  • 체인 복제는 되지 않는다. A→B→C로 설정해도 A의 객체가 C로 가지 않는다. 다른 계정의 버킷으로도 복제할 수 있다.
  • 복제 지연에 SLA(15분)가 필요하면 S3 Replication Time Control(RTC)을 켠다.

사례 3. 루트도 지우지 못하는 7년 보존과 다른 리전 사본

상황 증권사가 거래 체결 기록을 서울 리전의 S3 버킷에 저장한다. 원본 버킷은 이번에 새로 만든다.

  • ① 금융 규제에 따라 각 기록은 저장 시점부터 7년 동안 루트 사용자를 포함한 누구도 덮어쓰거나 삭제할 수 없어야 하고 보존 기간을 줄이는 것도 허용되지 않는다.
  • ② 보안팀은 관리자 자격 증명이 탈취되어 버킷 정책이 변경된 사고를 겪은 적이 있다.
  • ③ 리전 전체 장애에 대비해 다른 리전에도 사본을 두어야 하고 그 사본도 원본과 같은 수준으로 보호되어야 한다.

해결. 두 단계를 함께 한다.

  1. 원본 버킷에 버전 관리와 Object Lock 규정 준수 모드를 켜고 7년 기본 보존 기간을 설정한다. 루트를 포함해 누구도 보존 기간 동안 객체 버전을 덮어쓰거나 지울 수 없고 기간을 줄일 수도 없다(①②).
  2. 다른 리전에 버전 관리와 Object Lock을 켠 대상 버킷을 만들고 CRR을 구성한다. 원본 버킷에 Object Lock이 켜져 있으면 대상 버킷에도 Object Lock이 켜져 있어야 한다. 복제할 때 보존 모드와 기간(retain-until-date)이 함께 넘어가므로 다른 리전 사본도 같은 수준으로 보호된다(③).

다른 선택지가 안 되는 이유

  • 거버넌스 모드 + s3:BypassGovernanceRetention은 보안팀 역할에만: 이 권한이 있으면 지우거나 기간을 줄일 수 있다(①). 관리자 자격 증명이 탈취된 적이 있다는 조건(②)에서는 이 예외가 그대로 구멍이 된다.
  • 버전 관리 + MFA Delete: 영구 삭제에 MFA를 요구할 뿐이라 루트 사용자가 MFA로 인증하면 지울 수 있다(①). 덮어쓰기와 보존 기간 개념도 없다.
  • 삭제를 거부하는 버킷 정책 + 7년 뒤 만료 규칙: 버킷 정책은 권한 있는 관리자나 루트 사용자가 바꿀 수 있다. 실제로 정책이 변경된 사고가 있었으므로(②) "누구도 삭제 불가"(①)를 보장하지 못한다.

사례 4. 기존 객체까지 15분 SLA로 다른 계정에 복제하기

상황 us-east-1의 S3 버킷에 약 300TB의 고객 문서가 있고 매일 새 문서가 추가된다.

  • ① 새 감사 정책에 따라 별도 DR 계정이 소유한 us-west-2 버킷에 모든 문서의 사본이 있어야 하고 이미 저장된 문서도 대상이다.
  • ② 새 문서는 업로드 후 15분 안에 DR 버킷에 복제되는 것이 SLA로 보장되어야 한다.
  • ③ 복제 지연을 지표로 모니터링할 수 있어야 한다.
  • ④ 복제본은 DR 계정이 소유해야 한다.
  • ⑤ 운영 부담은 가장 적어야 한다.

해결. 양쪽 버킷에 버전 관리를 켜고 RTC와 복제본 소유자 변경을 켠 CRR 규칙을 만든 뒤 기존 문서는 S3 Batch Replication 작업으로 한 번 복제한다. RTC를 켜면 새 객체의 99.99%를 15분 안에 복제한다는 SLA와 복제 지연 지표가 제공된다(②③). 복제본 소유자를 대상 계정으로 바꾸는 옵션으로 DR 계정이 복제본을 소유하게 한다(④). 기존 문서는 Batch Replication이 맡는다(①).

다른 선택지가 안 되는 이유

  • DataSync 작업을 1시간마다 실행: 기존 객체와 새 객체를 모두 옮길 수는 있다. 하지만 1시간 간격이라 15분 조건(②)을 못 지키고 복제 SLA도 없다.
  • 이벤트 알림 + Lambda의 CopyObject, 기존 문서는 S3 Batch Operations 복사: 동작은 한다. 하지만 복사 코드, 재시도, 5GB가 넘는 객체의 멀티파트 복사를 직접 만들어야 하고(⑤) 15분 SLA나 지연 지표도 없다(②③).
  • CRR 규칙만 만들고 기존 문서가 자동으로 초기 동기화되기를 기대: 복제 규칙은 설정한 이후에 쓴 객체만 복제하므로 기존 300TB가 빠진다(①).

암호화

PutObject에 암호화 옵션을 하나도 넣지 않아도 S3는 2023-01부터 모든 새 객체를 저장할 때 SSE-S3로 암호화한다. 설계할 때 고르는 것은 누가 키를 관리하는지, 키 사용을 어디에 기록하는지, 누가 복호화할 수 있는지다. KMS 자체는 [AWS 아키텍처 4]에서 다룬다.

방식 키 관리 설계할 때 볼 점
SSE-S3 S3가 전부 관리 2023-01부터 모든 새 객체 기본 암호화. 추가 비용 없음
SSE-KMS KMS 키(AWS 관리형 또는 고객 관리형) 키 사용 감사(CloudTrail), 키 정책으로 접근 분리, 교체 제어. 요청마다 KMS를 호출하므로 KMS 요청 할당량과 비용이 문제가 될 수 있다
DSSE-KMS KMS, 이중 암호화 규정상 "2개 계층 암호화"가 필요할 때
SSE-C 고객이 요청마다 키를 보낸다. AWS는 키를 저장하지 않는다 HTTPS 필수. 키를 잃으면 데이터도 잃는다
클라이언트 측 암호화 업로드 전에 앱이 암호화 "AWS에 평문이 절대 도달하면 안 된다"는 요구에 맞는다
  • S3 Bucket Key는 버킷 단위 데이터 키를 만들어 KMS 호출을 크게 줄인다. SSE-KMS 비용이 많이 나오거나 KMS 스로틀링이 나면 Bucket Key를 켠다.
  • 전송 중 암호화를 강제하려면 버킷 정책에서 aws:SecureTransport = false인 요청을 Deny한다.

새 버킷의 SSE-C 기본 차단 (2026-04 변경)

  • 2026년 4월부터 새로 만드는 버킷은 SSE-C 업로드가 기본으로 거부된다. 쓰려면 버킷 암호화 설정에서 따로 허용해야 한다.
  • "키를 직접 보관하고 제공하며 AWS에는 저장하지 않는다"는 요구에 맞는 방식이 SSE-C라는 점은 그대로다.
  • 출처: Default SSE-C setting for new buckets FAQ

사례 5. SSE-KMS 요청 요금과 스로틀링을 줄이기

상황 데이터 레이크가 S3 버킷 하나에 수십억 개의 작은 객체를 저장하고 고객 관리형 KMS 키를 쓰는 SSE-KMS로 암호화한다. Athena와 EMR 작업이 늘면서 KMS 요청 요금이 S3 비용의 상당 부분을 차지하게 되었고 작업 중에 KMS ThrottlingException도 간헐적으로 난다.

  • ① 감사 요건 때문에 키 사용 내역이 CloudTrail에 남아야 한다.
  • ② 키 정책으로 복호화할 수 있는 역할을 계속 제한해야 한다.
  • ③ KMS 요청 요금과 스로틀링을 줄여야 한다.

해결. S3 Bucket Key를 켠다. S3가 KMS에서 버킷 단위 키를 받아 일정 시간 재사용하므로 객체마다 KMS를 호출하지 않는다. KMS 요청 수가 크게 줄어 비용과 스로틀링이 함께 해결된다(③). 고객 관리형 키와 키 정책은 그대로이고(②) 키 사용 내역도 CloudTrail에 계속 남는다(①). 다만 이벤트 수가 줄고 암호화 컨텍스트가 객체 ARN 대신 버킷 ARN이 된다. 기존 객체에는 자동으로 적용되지 않으므로 S3 Batch Operations 복사로 다시 써서 적용한다.

다른 선택지가 안 되는 이유

  • 기본 암호화를 SSE-S3로 변경: KMS 호출은 없어진다. 하지만 SSE-S3는 키를 S3가 관리하므로 키 정책으로 복호화 역할을 제한하거나(②) 키 사용을 CloudTrail로 감사하는(①) 요건을 잃는다.
  • KMS 요청 할당량 증가 요청: 스로틀링은 줄일 수 있지만 KMS 요청 수가 그대로라 요청 요금이 줄지 않는다(③).
  • 같은 고객 관리형 키로 DSSE-KMS 전환: DSSE-KMS는 규정상 두 계층 암호화가 필요할 때 쓰는 방식이다. S3 Bucket Key를 지원하지 않아 KMS 호출이 줄지 않고(③) 이중 암호화에 대한 GB당 추가 요금까지 붙는다.

접근 제어

S3 호출이 403 AccessDenied로 실패하면 원인을 여러 군데서 찾아야 한다. 요청 허용 여부는 요청자에게 붙은 IAM 정책, 버킷에 붙은 버킷 정책, 계정과 버킷 단위의 퍼블릭 액세스 차단을 함께 보고 정해진다. 로그인하지 않은 사용자에게 파일 하나만 잠시 열어 줄 때는 미리 서명된 URL을 쓴다.

수단 하는 일 설계할 때 볼 점
IAM 정책 사용자, 역할에 붙는 권한 우리 계정의 사용자, 역할에게 준다
버킷 정책 버킷에 붙는 리소스 기반 정책 교차 계정 공유, 퍼블릭 공개, 조건(IP, VPC 엔드포인트, TLS 강제)
ACL 레거시 객체별 권한 2023-04부터 기본 비활성(객체 소유권 = "버킷 소유자 적용"). 새 설계에서는 ACL 대신 정책을 쓴다
퍼블릭 액세스 차단 퍼블릭 공개를 막는 최상위 설정 계정 단위와 버킷 단위가 있다. 켜져 있으면 버킷 정책으로 공개해도 막힌다. 기본으로 켜져 있다
액세스 포인트 버킷에 붙이는 앱별 접근 경로와 별칭 버킷 정책 하나가 너무 복잡해질 때 앱/팀별 정책을 분리한다. VPC 전용 액세스 포인트도 만들 수 있다
미리 서명된 URL 기한이 붙은 임시 GET/PUT 링크 서명한 사람의 권한으로 정해진 시간 동안만 GET/PUT한다. 로그인 없는 사용자에게 특정 파일만 임시로 열어 줄 때 쓴다
  • 정책 평가에서는 명시적 Deny가 항상 이긴다. 그다음에는 Allow가 하나라도 있어야 허용된다([AWS 아키텍처 3]).
  • 같은 계정이면 IAM 정책이나 버킷 정책 중 하나만 허용해도 된다. 다른 계정이면 상대 계정의 IAM 정책과 우리 버킷 정책이 모두 허용해야 한다.
  • 다른 계정과 버킷을 공유하려면 버킷 정책으로 상대 계정을 허용한다. 우리 계정에 상대방용 IAM 사용자를 만들어 주는 방식은 쓰지 않는다.

성능

배치 작업이 S3에 요청을 몰아 보내면 503 Slow Down 응답이 돌아올 때가 있다. 접두사 하나에 걸린 초당 요청 한도를 넘었다는 뜻이다. 큰 파일 업로드가 느리거나 자주 끊기는 문제는 한도가 아니라 전송 방식을 바꿔서 푼다.

기능 하는 일 설계할 때 볼 점
접두사당 요청 한도 초당 처리할 수 있는 요청 수가 접두사 단위로 정해진다 접두사당 초당 PUT/COPY/POST/DELETE 3,500, GET/HEAD 5,500. 접두사를 나누면 그만큼 늘어난다
멀티파트 업로드 큰 객체를 여러 파트로 나눠 병렬로 올린다 100MB 이상 권장, 5GB 초과는 필수(단일 PUT 최대 5GB). 실패한 파트만 다시 보낸다
Transfer Acceleration 가까운 엣지 로케이션으로 올린 뒤 AWS 백본으로 버킷까지 보낸다 먼 대륙에서 한 버킷으로 업로드가 느릴 때 쓴다
바이트 범위 가져오기 HTTP Range 요청으로 객체의 일부 바이트만 가져온다 큰 객체를 병렬로 다운로드하거나 헤더 부분만 읽는다
  • 업로드가 느리면 멀티파트 업로드를 쓰고 거리가 멀면 Transfer Acceleration을 더한다. 다운로드가 느리면 바이트 범위 병렬 GET을 쓰고 전 세계에 배포하면 CloudFront를 둔다([AWS 아키텍처 2]).
  • SSE-KMS를 쓰면 S3 한도보다 KMS 요청 할당량이 먼저 병목이 될 수 있다. 이때는 Bucket Key를 켠다.

사례 6. 여러 대륙에서 큰 영상 파일 올리기

상황 방송사 취재팀이 브라질, 남아프리카공화국 등 여러 대륙에서 촬영한 1~4GB 영상 파일을 서울 리전의 S3 버킷 하나에 올린다. 지금은 파일마다 단일 PUT으로 올린다.

  • ① 업로드 속도가 느리다.
  • ② 도중에 연결이 끊기면 파일 전체를 처음부터 다시 보내야 한다.
  • ③ 애플리케이션 구조는 최소한으로만 바꾸려 한다.

해결. Transfer Acceleration을 켜고 클라이언트가 가속 엔드포인트로 멀티파트 업로드를 하게 바꾸면 두 문제가 함께 풀린다. Transfer Acceleration은 가까운 엣지 로케이션으로 올린 뒤 AWS 백본으로 서울 버킷까지 보낸다(①). 멀티파트 업로드는 파일을 나눠 병렬로 보내고 실패한 파트만 다시 보낸다(②). 바뀌는 것은 버킷 설정 하나와 클라이언트의 엔드포인트, 업로드 방식뿐이다(③).

다른 선택지가 안 되는 이유

  • 대륙마다 가까운 리전에 버킷을 두고 서울로 CRR: 업로드 거리는 줄지만 버킷이 대륙 수만큼 늘고 복제 요금과 복제 지연이 생긴다. 업로드 대상이 지역마다 달라져 구조 변경도 크다(③). 끊기면 처음부터 다시 보내는 문제도 그대로다(②).
  • 키 앞에 무작위 해시 접두사: 접두사 분산은 접두사당 요청 한도(초당 PUT 3,500)를 넘어 503 Slow Down이 날 때의 해법이다. 먼 거리의 대용량 업로드와는 관계가 없다(①).
  • 버킷 앞에 CloudFront, 캐시 TTL을 길게: CloudFront 캐시는 다운로드(GET)를 빠르게 할 뿐 업로드 속도나 재전송 문제를 해결하지 않는다(①②).

요청자 지불, 이벤트 알림, 그 밖의 기능

버킷에 파일이 올라올 때마다 후처리를 하려고 목록을 주기적으로 훑는 배치를 짜는 경우가 있다. S3는 객체가 생성되거나 삭제될 때 이벤트를 직접 보내 주므로 이런 폴링이 필요 없다. 데이터를 가져가는 쪽에 요청과 전송 요금을 물리는 요청자 지불도 버킷 설정으로 켠다.

기능 하는 일
요청자 지불(Requester Pays) 요청과 데이터 전송 비용을 가져가는 쪽 계정이 낸다. 요청자는 인증된 AWS 계정이어야 한다(익명 불가)
이벤트 알림 객체 생성, 삭제 시 SNS, SQS, Lambda로 직접 보내거나 EventBridge로 보내 고급 필터링과 여러 대상 라우팅을 한다([AWS 아키텍처 9])
S3 Select SQL로 객체 일부만 읽는다. 신규 고객 제공 중단(아래)
Storage Lens 조직 전체의 스토리지 사용량, 비용 대시보드
S3 Inventory 객체 목록과 암호화 상태를 CSV/Parquet로 정기 보고

S3 Select 신규 고객 제공 중단 (2024-07 경)

  • 기존 고객만 계속 쓸 수 있고 새 계정은 쓸 수 없다. 대안은 Athena([AWS 아키텍처 10])나 클라이언트 측 필터링이다.
  • S3 Select는 객체 하나에서 일부 행, 열만 서버 쪽에서 걸러 전송량을 줄이는 기능이다. 여러 객체에 SQL 분석을 하려면 Athena를 쓴다.
  • 출처: Querying data in place with Amazon S3 Select

사례 7. 데이터를 가져가는 쪽이 비용을 내게 하기

상황 공공 연구기관이 수백 TB의 위성 영상 데이터셋을 S3 버킷에 두고 여러 협력 기관의 AWS 계정이 내려받아 쓰게 하려 한다.

  • ① 연구기관은 저장 비용만 부담하고 요청과 데이터 전송 비용은 가져가는 기관이 내야 한다.
  • ② 익명 접근은 허용하지 않는다.

해결. 요청자 지불을 켜고 버킷 정책으로 협력 기관 계정에 읽기 권한을 준다. 요청 요금과 데이터 전송 요금은 가져가는 계정이 내고 버킷 소유자는 저장 비용만 낸다(①). 요청자는 인증된 AWS 계정이어야 하므로 익명 접근도 자연히 막힌다(②).

다른 선택지가 안 되는 이유

  • 퍼블릭 액세스 차단을 유지한 채 버킷 정책으로 협력 기관에 읽기 허용: 접근 권한은 해결되지만 데이터 전송 요금은 여전히 버킷 소유자인 연구기관이 낸다(①).
  • 요청마다 7일짜리 미리 서명된 URL 발급: 미리 서명된 URL로 받은 다운로드도 버킷 소유자가 비용을 낸다(①). 요청마다 URL을 발급해야 해서 운영 부담도 생긴다.
  • 협력 기관 버킷으로 CRR: 협력 기관이 자기 버킷의 저장 비용을 내게 되지만 복제로 생기는 리전 간 데이터 전송 요금은 원본 버킷 쪽(연구기관)에 청구된다(①). 데이터셋이 기관 수만큼 복사되는 것도 낭비다.

사례 8. 앱 사용자가 비공개 버킷에 직접 올리고 썸네일 만들기

상황 부동산 플랫폼의 모바일 앱 사용자가 매물 사진(장당 최대 20MB)을 올린다. 지금은 사진이 EC2의 API 서버를 거쳐 S3에 저장되는데 업로드가 몰리는 시간에는 API 서버의 CPU와 네트워크 대역폭이 포화된다.

  • ① 버킷은 비공개로 유지해야 한다.
  • ② 앱 사용자에게는 AWS 자격 증명이 없다.
  • ③ 사진이 저장되면 썸네일을 자동으로 만들어야 한다.
  • ④ 운영 부담은 가장 적어야 한다.

해결. API 서버가 유효 기간이 짧은 PUT용 미리 서명된 URL을 발급하고 앱이 S3에 직접 올리게 한다. 미리 서명된 URL은 서버의 권한으로 서명한, 기한이 붙은 업로드 허가다(①②). API 서버는 URL만 발급하고 트래픽을 받지 않는다. 썸네일은 객체 생성 이벤트 알림으로 Lambda를 바로 호출해 서버 없이 만든다(③④). 썸네일은 다른 접두사나 버킷에 써야 이벤트가 다시 호출되는 루프를 피할 수 있다.

다른 선택지가 안 되는 이유

  • 업로드 전용 접두사에 익명 s3:PutObject 허용 + 이벤트 알림으로 Lambda: 익명 PutObject 허용은 사실상 공개 쓰기다. 아무나 파일을 올릴 수 있어 비공개 요건(①)과 보안에 어긋나고 퍼블릭 액세스 차단이 켜져 있으면 적용되지도 않는다.
  • API 서버 Auto Scaling 확장 + SQS + EC2 워커: 동작은 한다. 하지만 트래픽은 여전히 API 서버를 지나고 서버와 워커 EC2를 계속 운영해야 한다(④).
  • 미리 서명된 URL로 직접 업로드 + EventBridge Scheduler로 5분마다 Lambda가 ListObjectsV2로 새 객체 탐색: 업로드 부분은 맞다. 하지만 5분마다 목록을 훑는 폴링은 지연이 생기고 처리한 객체를 기억하는 로직도 직접 만들어야 한다(③④).

정적 웹 사이트: S3 웹 사이트 호스팅 vs CloudFront + 비공개 버킷

React나 Vue 프로젝트를 빌드하면 index.html과 JS, CSS 파일만 남으므로 S3에 올려 서비스할 수 있다. 방법은 두 가지다. 버킷의 정적 웹 사이트 호스팅을 켜고 버킷을 공개하는 방법과 버킷은 비공개로 두고 CloudFront가 원본 액세스 제어(OAC)로 버킷을 읽게 하는 방법이다.

S3 정적 웹 사이트 호스팅 CloudFront + 비공개 버킷(OAC)
버킷 공개 퍼블릭이어야 한다 비공개를 유지하고 CloudFront만 읽게 버킷 정책으로 허용
HTTPS 웹 사이트 엔드포인트는 HTTP만 ACM 인증서로 HTTPS([AWS 아키텍처 2], [AWS 아키텍처 4])
맞는 경우 단순하고 비용이 적어야 하며 보안 조건이 없을 때 보안, HTTPS, 전 세계 지연, 직접 접근 차단

S3 직접 접근을 막고 CloudFront로만 서비스하려면 OAC(예전 방식은 OAI)를 쓴다. 버킷을 퍼블릭으로 열 필요가 없다.

사례 9. 퍼블릭 버킷의 SPA를 HTTPS와 비공개 버킷으로 옮기기

상황 React로 만든 싱글 페이지 애플리케이션(SPA)을 S3 정적 웹 사이트 호스팅으로 서비스하면서 버킷에 퍼블릭 읽기를 허용해 두었다. 보안 감사에서 세 가지를 지적받았다.

  • ① 회사 도메인으로 HTTPS를 제공해야 한다.
  • ② 사용자가 S3 URL로 버킷에 직접 접근할 수 없어야 한다.
  • ③ 계정 수준의 퍼블릭 액세스 차단을 켜야 한다.
  • ④ 해외 사용자의 로딩 지연도 함께 줄이려 한다.

해결. 두 단계를 함께 한다.

  1. S3 버킷(REST) 엔드포인트를 오리진으로 하는 CloudFront 배포를 만들어 OAC를 연결하고 us-east-1의 ACM 인증서와 회사 도메인을 대체 도메인 이름으로 설정한다(①). OAC는 REST 엔드포인트 오리진에서만 동작하고 CloudFront에서 쓰는 ACM 인증서는 us-east-1에서 발급해야 한다. 엣지 캐시로 해외 지연도 줄어든다(④).
  2. 버킷 정책의 퍼블릭 허용 문을 지우고 cloudfront.amazonaws.com 서비스 주체에 s3:GetObject를 허용하되 AWS:SourceArn 조건으로 이 배포만 허용한다. 그다음 퍼블릭 액세스 차단을 켠다(③). CloudFront를 거친 요청만 읽을 수 있고(②) 퍼블릭 허용이 없으므로 차단을 켜도 서비스가 깨지지 않는다.

다른 선택지가 안 되는 이유

  • S3 웹 사이트 엔드포인트를 오리진으로 한 CloudFront + OAC: S3 웹 사이트 엔드포인트는 CloudFront에서 사용자 지정 오리진으로 취급된다. 그래서 OAC(및 OAI)를 쓸 수 없고 버킷이 계속 퍼블릭이어야 한다(②③).
  • ACM 인증서를 S3 웹 사이트 엔드포인트에 연결: S3 웹 사이트 엔드포인트는 HTTPS를 지원하지 않는다(①). 직접 접근 차단도 해결되지 않는다(②).
  • 버킷 ACL로 CloudFront에 읽기 권한: 새 버킷은 ACL이 기본으로 비활성화되어 있고(버킷 소유자 적용) OAC는 ACL이 아니라 버킷 정책으로 권한을 받는다.

SPA의 클라이언트 라우팅은 CloudFront 기본 루트 객체와 사용자 지정 오류 응답(403/404 → /index.html)으로 처리한다.

정리: 요구별 구성

요구 구성
접근 패턴을 모르거나 불규칙 Intelligent-Tiering
드물게 읽지만 즉시, 다중 AZ Standard-IA
다시 만들 수 있는 데이터, 저렴 One Zone-IA
분기 1회 정도, ms 조회 Glacier IR
아카이브인데 5분 이내 복원 Glacier Flexible + Expedited
710년 보관, 최저가, 1248시간 대기 가능 Deep Archive
같은 AZ 컴퓨팅이 초고속으로 읽기(ML, 분석) S3 Express One Zone
일정 기간 후 저렴한 클래스로 / 삭제 수명 주기 전환 / 만료
실패한 멀티파트 업로드 조각 비용 미완료 멀티파트 업로드 정리 규칙
실수로 삭제하거나 덮어쓴 객체 복구 버전 관리(+ 이전 버전 만료로 비용 관리)
루트 포함 누구도 삭제 불가, 규제 Object Lock 규정 준수 모드
특정 관리자만 잠금 해제 Object Lock 거버넌스 모드
기간 없이 무기한 보존 법적 보존(Legal Hold)
다른 리전에 사본, DR CRR(양쪽 버전 관리 필수)
기존 객체까지 복제 S3 Batch Replication
복제 지연 15분 SLA S3 RTC
키 사용 감사, 키 접근 분리 SSE-KMS
SSE-KMS 비용, KMS 스로틀링 S3 Bucket Key
키를 우리가 보관, AWS에 저장 안 함 SSE-C(또는 클라이언트 측 암호화)
다른 계정에 버킷 공유 버킷 정책
앱/팀별로 접근 정책 분리 S3 액세스 포인트
로그인 없는 사용자에게 임시 다운로드, 업로드 미리 서명된 URL
큰 파일 업로드가 느리거나 실패 멀티파트 업로드
먼 대륙에서 업로드가 느림 Transfer Acceleration
초당 요청 한도 초과(503 Slow Down) 접두사 분산
데이터를 가져가는 쪽이 비용 부담 요청자 지불
업로드되면 자동 처리 S3 이벤트 알림 → Lambda/SQS/SNS/EventBridge
정적 사이트 + HTTPS + 버킷 비공개 CloudFront + OAC
이 글은 AWS 아키텍처 시리즈입니다. 5 / 8
  1. VPC 네트워크 기본 - AWS 아키텍처 #1
  2. 로드 밸런서, CloudFront, Route 53 - AWS 아키텍처 #2
  3. IAM과 계정 - AWS 아키텍처 #3
  4. 암호화와 보안 서비스 - AWS 아키텍처 #4
  5. S3 오브젝트 스토리지 - AWS 아키텍처 #5
  6. 블록 스토리지, 파일 스토리지, 마이그레이션 - AWS 아키텍처 #6
  7. 배포와 비용 최적화 - AWS 아키텍처 #7
  8. 클라우드 데이터베이스 - AWS 아키텍처 #8
태그
댓글0