본문으로 건너뛰기

블록 스토리지, 파일 스토리지, 마이그레이션 - AWS 아키텍처 #6

서버에 붙이는 디스크, 여러 서버가 함께 쓰는 공유 디렉터리, 온프레미스에서 AWS로 데이터와 서버를 옮기는 도구는 서비스 이름이 많아 헷갈리기 쉽다. 고르는 기준은 대부분 "어떤 프로토콜을 쓰는가, 어떤 OS인가, 한 번 옮기는가 계속 함께 쓰는가"로 정리된다. 이 글은 먼저 블록, 파일, 객체 스토리지의 차이를 짚고 EBS 볼륨 타입, EFS, FSx를 차례로 다룬다. 이어서 온프레미스와 AWS 스토리지를 계속 함께 쓰는 Storage Gateway, 데이터를 옮기는 전송 도구, 서버와 DB를 옮기는 이전 도구, 여러 서비스의 백업을 한곳에서 관리하는 AWS Backup을 본다. 절마다 요구 조건이 하나 바뀌면 구성이 어떻게 달라지는지를 사례로 붙였다.

한 장 그림

전체 구조

온프레미스의 파일 서버, 앱 서버, 파트너 SFTP, VM, DB, 대용량 데이터가 각각 어떤 도구를 거쳐 AWS 리전에 닿는지 보여 준다.

스토리지 세 유형과 세부 옵션

스토리지는 블록, 파일, 객체 세 유형이고 유형마다 고르는 세부 옵션이 다르다.
  • 용량과 독립적인 15,000 IOPS와 비용 효율이 필요하면 gp3를 쓴다(gp2 아님). 필요한 IOPS가 3,000 이하면 추가로 살 필요가 없다.
  • 임시 데이터에 높은 IOPS와 비용 효율이 필요하면 인스턴스 스토어를 쓴다(io2 아님).
  • 여러 AZ의 서버가 같은 파일을 공유해야 하면 EFS를 쓴다(EBS Multi-Attach는 같은 AZ만).

하이브리드 스토리지와 중앙 백업

온프레미스 앱은 Storage Gateway, DX/VPN 직접 접근, Transfer Family 중 하나로 AWS에 닿고, AWS Backup이 리소스를 중앙에서 백업한다.
  • ERP SFTP + 즉시 처리 + 보안 요구는 내부 엔드포인트 + 관리형 워크플로로 푼다(인터넷 엔드포인트 아님).
  • DynamoDB 매월 백업 → 6개월 후 콜드 → 7년 보관은 AWS Backup 계획 하나로 한다(S3 수명 주기 규칙 불가).

스토리지 세 유형: 블록, 파일, 객체

애플리케이션이 데이터를 파일로 남기는 방식은 세 가지다. 서버에 붙은 디스크 경로에 바로 쓰는 방식, 여러 서버가 같은 디렉터리를 마운트해 함께 쓰는 방식, SDK의 PutObject 같은 API 호출로 올리고 받는 방식이다. AWS에서는 차례로 블록 스토리지인 Amazon EBS(Elastic Block Store), 파일 스토리지인 Amazon EFS(Elastic File System)와 FSx, 객체 스토리지인 S3가 맡는다.

블록 파일 객체
AWS 서비스 EBS, 인스턴스 스토어 EFS(NFS), FSx(SMB, Lustre, ONTAP, OpenZFS) S3([AWS 아키텍처 5]에서 다룬다)
동시 접근 인스턴스 1대(예외: io1/io2 Multi-Attach) 여러 대 동시 마운트 무제한(API)
범위 가용 영역(AZ) 1개 EFS, FSx 모두 다중 AZ 가능 리전
맞는 경우 부트 볼륨, DB 공유 디렉터리, 홈 디렉터리, CMS 정적 파일, 백업, 데이터 레이크

EBS 볼륨 타입과 인스턴스 스토어

EC2에 PostgreSQL을 직접 띄우면 데이터 디렉터리는 인스턴스에 붙인 디스크 볼륨에 놓인다. 이 볼륨이 EBS이고 인스턴스를 중지하거나 교체해도 데이터가 남는다. 인스턴스 스토어는 호스트 서버에 붙은 로컬 디스크라서 빠르지만 인스턴스를 중지하거나 종료하면 데이터가 사라진다.

타입 하는 일 설계할 때 볼 점
gp3 범용 SSD 크기와 관계없이 3,000 IOPS, 125MiB/s가 기본이다. IOPS와 처리량을 용량과 따로 지정한다. 비용 효율을 따질 때 먼저 고려한다
gp2 구형 범용 SSD IOPS가 용량에 묶인다(GiB당 3 IOPS). 거의 항상 gp3에 밀린다
io1/io2 IOPS를 보장하는 고성능 SSD 수만 IOPS 이상 + 일관된 저지연이 필요한 핵심 DB. Multi-Attach는 io1/io2만 되고 같은 AZ 안에서만 된다
st1 순차 처리용 HDD 로그, 빅데이터 순차 읽기. 부트 볼륨으로 쓸 수 없다
sc1 콜드 HDD 가장 저렴하다. 거의 읽지 않는 데이터용
인스턴스 스토어 호스트에 붙은 로컬 NVMe 디스크 요금에 포함되고 IOPS가 가장 높다. 중지, 종료, 호스트 장애 시 데이터가 사라진다. 임시 파일, 캐시, 스크래치용
  • 스냅샷은 증분 백업이고 S3(리전)에 저장된다. EBS는 AZ에 묶이므로 다른 AZ로 옮기려면 스냅샷을 만들고 그 AZ에서 볼륨을 생성한다. 다른 리전이면 스냅샷을 복사한다.
  • 암호화되지 않은 볼륨을 암호화하려면 스냅샷 → 암호화를 켜고 복사 → 새 볼륨 순서로 만든다.
  • 실수로 지운 스냅샷이나 AMI는 Recycle Bin에서 복구한다. 오래 보관할 스냅샷의 비용은 스냅샷 아카이브 티어로 줄인다.

설계할 때 알아 둘 점

  1. 용량과 관계없이 15,000 IOPS가 필요하고 비용 효율이 중요하면 gp3에 IOPS를 따로 붙인다. gp2는 IOPS를 얻으려면 용량을 늘려야 한다. 필요한 IOPS가 3,000 이하면 IOPS를 추가로 살 필요 없이 gp3 기본값으로 충분하다.
  2. 데이터가 임시이고 IOPS가 높아야 하며 비용 효율이 중요하면 io2가 아니라 인스턴스 스토어를 쓴다.

사례 1. 자체 관리 PostgreSQL에 맞는 볼륨

상황 EC2에서 자체 관리형 PostgreSQL을 운영한다. DB 크기는 500GiB이고 부하 테스트 결과 지속적으로 10,000 IOPS와 250MiB/s 처리량이 필요하다.

  • ① 데이터는 인스턴스가 중지되거나 교체되어도 남아야 한다.
  • ② 비용은 가장 적어야 한다.

해결. 500GiB gp3에 10,000 IOPS와 250MiB/s를 프로비저닝하면 된다. gp3는 크기와 관계없이 3,000 IOPS와 125MiB/s가 기본이고 그 이상은 용량과 따로 IOPS와 처리량만 추가로 산다. 그래서 이 구성이 가장 싸다(②).

다른 선택지가 안 되는 이유

  • 3,334GiB gp2: gp2는 GiB당 3 IOPS라 10,000 IOPS를 얻으려면 3,334GiB가 필요하다. 쓰지 않는 용량 2.8TiB에 돈을 내게 되고(②) 처리량도 gp3처럼 따로 지정할 수 없다.
  • 500GiB io2 + 10,000 IOPS: 동작은 한다. 하지만 io2는 GB 단가와 프로비저닝 IOPS 단가가 모두 gp3보다 훨씬 높고 기본 제공 IOPS도 없어서 같은 10,000 IOPS가 훨씬 비싸다(②). io2는 gp3 한도를 넘는 IOPS나 더 높은 내구성이 필요할 때 쓴다.
  • 인스턴스 스토어가 있는 스토리지 최적화 인스턴스: IOPS가 높고 요금에 포함되지만 인스턴스를 중지하거나 교체하면 데이터가 사라진다. 영속성 조건(①)에 어긋난다.

EFS: 여러 서버가 함께 쓰는 Linux 파일 시스템

사용자가 올린 이미지를 서버 로컬 디스크에 저장하면 서버를 두 대로 늘리는 순간 다른 서버에서는 그 파일을 찾지 못한다. EFS는 여러 EC2가 같은 디렉터리를 NFS로 마운트해 동시에 읽고 쓰는 관리형 NFS 파일 시스템이다. 용량을 미리 정하지 않아도 쓴 만큼 늘고 줄며 Linux 전용이다.

항목 내용
프로토콜 NFSv4, Linux만 지원한다(Windows 불가). EC2, ECS, EKS, Lambda에서 마운트한다
가용성 리전형: 여러 AZ에 저장하고 AZ마다 마운트 타깃(ENI)을 둔다. One Zone: AZ 1개, 더 저렴하다
용량 자동으로 늘고 준다. 프로비저닝이 필요 없고 쓴 만큼 과금된다
스토리지 클래스 Standard / IA / Archive + 수명 주기 정책(N일 동안 접근하지 않으면 IA나 Archive로 이동, 접근 시 Standard로 복귀하는 옵션)
처리량 모드 Elastic(기본, 권장, 예측하기 어려운 부하) / Provisioned(필요 처리량을 알 때) / Bursting(용량에 비례, 크레딧)
성능 모드 General Purpose(기본, 권장) / Max I/O(구세대, 고병렬, 높은 지연. Elastic이나 One Zone에서는 쓸 수 없다)
온프레미스 접근 AWS Direct Connect(DX)나 VPN으로 마운트할 수 있다
보안 마운트 타깃 SG(NFS 2049), IAM 권한, 저장 중 암호화와 전송 중 암호화

설계할 때 알아 둘 점: 여러 AZ의 서버가 같은 파일을 공유해야 하면 EFS를 쓴다. EBS Multi-Attach는 같은 AZ 안에서만 되므로 여러 AZ에 걸친 공유에는 맞지 않는다.

사례 2. 3개 AZ의 CMS 서버가 함께 쓰는 미디어 디렉터리

상황 3개 AZ에 걸친 Auto Scaling 그룹의 Linux EC2에서 콘텐츠 관리 시스템을 운영한다.

  • ① 모든 인스턴스가 업로드된 미디어 파일을 같은 디렉터리에서 동시에 읽고 써야 한다.
  • ② AZ 하나에 장애가 나도 서비스가 계속되어야 한다.
  • ③ 파일은 계속 늘어나는데 업로드 후 한 달이 지난 파일은 거의 열리지 않는다.
  • ④ 스토리지 용량을 미리 계획하거나 프로비저닝하고 싶지 않다.
  • ⑤ 비용은 가장 적어야 한다.

해결. EFS 리전형(Standard)에 30일 동안 접근하지 않은 파일을 IA로 옮기는 수명 주기 정책을 건다. 리전형은 여러 AZ에 데이터를 저장하고 AZ마다 마운트 타깃을 두므로 여러 AZ의 Linux 인스턴스가 NFS로 동시에 마운트하고(①) AZ 장애에도 버틴다(②). 쓴 만큼 자동으로 늘고 줄며(④) 수명 주기 정책이 안 쓰는 파일을 IA로 옮겨 비용을 줄인다(③⑤).

다른 선택지가 안 되는 이유

  • io2 볼륨 + Multi-Attach: Multi-Attach는 같은 AZ의 인스턴스에만 붙고 io1/io2만 지원한다(①②). 여러 노드가 동시에 쓰려면 클러스터 파일 시스템도 직접 구성해야 한다.
  • FSx for Windows File Server Multi-AZ를 Linux에서 SMB로 마운트: Linux에서도 SMB로 마운트할 수는 있다. 하지만 FSx for Windows File Server는 스토리지 용량을 미리 프로비저닝해야 하고 Active Directory도 필요하다. 용량 계획 없이라는 조건(④)과 비용(⑤)에서 밀린다.
  • EFS One Zone + 30일 후 IA 수명 주기 정책: One Zone은 AZ 하나에만 저장하므로 그 AZ에 장애가 나면 파일에 접근할 수 없다(②).

FSx: 파일 시스템을 골라 쓰는 관리형 파일 스토리지

Windows PC에서 \\fileserver\share 같은 공유 폴더를 드라이브로 연결해 쓰는 사무 환경이나 수백 노드가 같은 데이터셋을 동시에 읽는 학습 작업에는 Linux용 NFS인 EFS가 맞지 않는다. FSx는 특정 파일 시스템 하나를 골라 관리형으로 제공하는 서비스 묶음이다. Windows File Server, Lustre, NetApp ONTAP, OpenZFS 네 가지가 있다.

FSx for Windows File Server FSx for Lustre FSx for NetApp ONTAP FSx for OpenZFS
하는 일 관리형 Windows 파일 서버 HPC용 병렬 파일 시스템 NetApp ONTAP 자체를 관리형으로 제공 관리형 ZFS 파일 시스템
프로토콜 SMB, NTFS ACL, DFS Lustre 클라이언트(Linux) NFS + SMB + iSCSI 동시 NFS
연동 Active Directory(AWS Managed AD 또는 자체 AD) S3 버킷 연동(S3 데이터를 파일처럼 읽고 결과를 S3로 내보냄) SnapMirror, 중복 제거와 압축, 클론 스냅샷, 클론
가용성 Single-AZ / Multi-AZ 단일 AZ Single-AZ / Multi-AZ Single-AZ / Multi-AZ
맞는 경우 Windows, SMB, AD, 기존 접근 방식 유지 HPC, ML 학습, 고성능 병렬 처리 + S3 온프레미스 NetApp 이전, 멀티 프로토콜, Windows와 Linux 동시 접근 온프레미스 ZFS 이전, 저지연 NFS
  • Lustre 배포 유형은 두 가지다. Scratch는 복제가 없고 저렴해 단기 처리에 쓰고 Persistent는 데이터를 복제해 장기 작업에 쓴다.

설계할 때 알아 둘 점

  1. EC2 두 대의 Windows 파일 공유를 고가용성으로 바꾸면서 접근 방식을 유지하려면 FSx for Windows File Server Multi-AZ를 쓴다. EFS는 Linux용 NFS라서 맞지 않는다.
  2. 온프레미스에서 FSx for Lustre에 붙을 때는 DX나 VPN으로 직접 연결한다. Storage Gateway를 거치는 구성이 아니다.

사례 3. 기존 파일 서버의 프로토콜에 맞는 FSx

같은 "파일 서버를 AWS로 옮기기"라도 지금 쓰는 프로토콜과 관리 도구에 따라 고를 FSx가 달라진다.

상황 A. Windows 파일 서버, AZ 장애 대비 회계법인이 온프레미스 Windows 파일 서버를 옮긴다.

  • ① 직원들은 Active Directory 계정으로 SMB 공유에 접속하고 폴더마다 NTFS 권한이 세밀하게 설정되어 있다.
  • ② 이전 후에도 AZ 하나에 장애가 나면 파일 공유를 계속 쓸 수 있어야 한다.
  • ③ 운영 부담은 가장 적어야 한다.

해결. FSx for Windows File Server Multi-AZ를 만들고 Active Directory에 가입시킨다. SMB, NTFS ACL, AD 연동을 그대로 제공하고(①) 다른 AZ에 대기 파일 서버를 두어 자동으로 장애 조치한다(②③).

  • EFS 리전형은 Linux용 NFS라서 Windows 클라이언트와 NTFS 권한을 지원하지 않는다(①).
  • FSx for Windows File Server Single-AZ는 기능은 맞지만 그 AZ에 장애가 나면 파일 공유를 쓸 수 없다(②).
  • 서로 다른 AZ에 Windows Server EC2 두 대를 두고 DFS 복제로 동기화해도 동작은 한다. 하지만 두 서버의 패치, DFS 복제, 장애 조치를 직접 운영해야 한다(③).

상황 B. NetApp, NFS와 SMB와 iSCSI 동시 사용 제조사가 온프레미스 NetApp 스토리지를 옮긴다.

  • ① 같은 볼륨에 Linux 서버는 NFS로, Windows 설계 워크스테이션은 SMB로 동시에 접근하고 일부 DB 서버는 iSCSI LUN을 쓴다.
  • ② 스토리지 팀은 지금 SnapMirror로 데이터를 복제하고 있다.
  • ③ 이전 후에도 ONTAP 관리 도구와 운영 절차를 그대로 쓰고 싶어 한다.

해결. FSx for NetApp ONTAP Multi-AZ를 만들고 SnapMirror로 온프레미스 볼륨을 복제한다(②). NetApp ONTAP 자체를 관리형으로 제공하므로 한 볼륨에 NFS, SMB, iSCSI를 함께 제공하고(①) ONTAP CLI와 API도 그대로 쓴다(③).

  • FSx for OpenZFS는 NFS만 지원한다. SMB와 iSCSI 요구를 채우지 못하고(①) SnapMirror도 없다(②).
  • Linux용 EFS와 Windows용 FSx for Windows File Server를 따로 만들고 DataSync로 동기화하면 데이터가 두 벌로 나뉜다. 같은 볼륨에 동시에 접근한다는 조건이 깨지고 iSCSI 요구도 남으며(①) 동기화 운영 부담까지 생긴다.
  • FSx for Windows File Server는 SMB 전용이라 NFS와 iSCSI를 제공하지 않는다(①).

사례 4. 한 달에 3일만 쓰는 HPC 파일 시스템

상황 자동차 회사가 매달 한 번 약 3일 동안 수백 대의 EC2로 충돌 시뮬레이션을 돌린다. 입력 데이터 약 50TB는 S3에 있다.

  • ① 시뮬레이션 동안 모든 노드가 동시에 읽고 쓰는 높은 처리량과 밀리초 미만 지연의 공유 파일 시스템이 필요하다.
  • ② 결과는 S3에 남기고 작업이 끝나면 파일 시스템의 데이터는 필요 없다.
  • ③ 장애가 나면 작업을 다시 돌리면 되므로 파일 시스템 수준의 복제도 필요 없다.
  • ④ 비용은 가장 적어야 한다.

해결. 작업을 시작할 때 S3 버킷과 연결한 FSx for Lustre Scratch를 만들고 결과를 S3로 내보낸 뒤 삭제한다. Lustre는 S3 데이터를 파일처럼 읽고 결과를 S3로 내보낼 수 있다(①②). Scratch는 복제가 없는 대신 저렴하고(③) 작업 기간에만 만들었다 지우면 3일분 요금만 낸다(④).

다른 선택지가 안 되는 이유

  • S3와 연결한 FSx for Lustre Persistent를 상시 운영: 성능은 맞다. 하지만 한 달 중 27일은 쉬는 파일 시스템의 요금을 계속 낸다(④). Persistent의 데이터 복제도 필요 없는 조건이다(③).
  • Elastic 처리량 모드의 EFS + 작업 전 DataSync로 S3 데이터 복사: EFS도 여러 노드가 공유할 수 있고 읽기 지연은 1ms 미만까지 나온다. 하지만 쓰기 지연은 ms 단위이고 수백 노드 HPC의 병렬 처리량에서 Lustre보다 불리하다(①). S3 데이터를 미리 복사하는 단계도 추가된다.
  • EC2에 S3 File Gateway를 두고 모든 노드가 NFS로 마운트: S3 File Gateway는 온프레미스 앱이 S3를 파일로 쓰게 하는 하이브리드 게이트웨이다. 게이트웨이 하나가 병목이 되어 HPC 처리량을 낼 수 없다(①).

Storage Gateway: 온프레미스 앱이 AWS 스토리지를 계속 쓰게 하기

온프레미스 애플리케이션이 쓰는 파일 서버나 iSCSI 볼륨이 꽉 차면 보통 장비를 증설한다. Storage Gateway는 온프레미스에 VM(또는 EC2)으로 설치하는 게이트웨이로 애플리케이션은 지금처럼 NFS, SMB, iSCSI로 접근하고 데이터 본체는 AWS에 저장된다. 자주 쓰는 데이터는 로컬 캐시에 두므로 온프레미스 앱이 AWS 스토리지를 계속 함께 쓰는 하이브리드 구성에 쓴다.

유형 온프레미스 쪽 프로토콜 AWS 쪽 저장 설계할 때 볼 점
S3 File Gateway NFS / SMB S3 객체(파일 1개 = 객체 1개) 파일 서버를 S3로 확장한다. S3 수명 주기 규칙을 적용할 수 있다
FSx File Gateway SMB FSx for Windows File Server 신규 고객 제공 중단(아래)
Volume Gateway 캐시형 iSCSI 본체는 S3, 자주 쓰는 데이터만 로컬 로컬 용량을 아낀다
Volume Gateway 저장형 iSCSI 본체는 로컬, S3에 비동기 백업(EBS 스냅샷) 전체 데이터에 낮은 지연이 필요할 때
Tape Gateway iSCSI VTL 가상 테이프 → S3, 아카이브는 Glacier / Deep Archive 기존 테이프 백업 소프트웨어를 그대로 쓴다

FSx File Gateway 신규 고객 제공 중단 (2024-10-28)

  • 온프레미스 SMB 사용자에게 FSx for Windows File Server를 로컬 캐시로 낮은 지연으로 제공하는 유형이었다.
  • 기존 고객만 계속 쓴다. AWS 권장 대안은 온프레미스에서 FSx for Windows File Server에 직접 접근(DX/VPN)하는 방식이다.
  • 출처: Amazon FSx File Gateway User Guide

사례 5. 온프레미스 iSCSI 스토리지가 꽉 찼을 때

상황 온프레미스 애플리케이션 서버가 iSCSI 블록 볼륨에 데이터를 저장한다.

  • ① 로컬 스토리지 어레이의 용량이 거의 찼지만 증설 예산이 없다.
  • ② 자주 쓰는 데이터는 지금처럼 낮은 지연으로 접근해야 한다.
  • ③ 애플리케이션은 수정할 수 없다.

해결. Volume Gateway 캐시형을 배포한다. 데이터 본체를 S3에 두고 자주 쓰는 데이터만 로컬 캐시에 두므로 애플리케이션은 그대로 iSCSI로 접속하면서(③) 로컬 용량 부족이 해결된다(①②). 전체 데이터에 낮은 지연이 필요했다면 저장형이 맞다.

다른 선택지가 안 되는 이유

  • Volume Gateway 저장형: 전체 데이터를 로컬에 두고 S3로 비동기 백업한다. 로컬 용량이 그대로 필요하므로 용량 부족이 해결되지 않는다(①).
  • S3 File Gateway: NFS/SMB 파일 인터페이스라서 iSCSI 블록을 쓰는 애플리케이션을 바꿔야 한다(③).
  • Tape Gateway: 백업 소프트웨어가 쓰는 가상 테이프 라이브러리다. 애플리케이션이 운영 데이터에 블록으로 접근하는 용도가 아니다(③).

데이터 전송: DataSync, Storage Gateway, Transfer Family, Snowball Edge

NAS에 쌓인 수십 TB를 S3로 옮기거나 거래처가 매일 SFTP로 보내는 정산 파일을 받는 일은 보통 배치 스크립트로 시작한다. 직접 만들면 재시도, 무결성 검증, 서버 운영까지 모두 떠안는다. AWS에는 목적별 전송 서비스가 따로 있어서 반복 복사는 DataSync, 외부와 파일 주고받기는 Transfer Family, 회선으로 감당하지 못하는 대용량은 Snowball Edge가 맡는다.

DataSync Storage Gateway Transfer Family Snowball Edge
목적 이전, 주기 복사(일회성 또는 반복) 지속적인 하이브리드 접근 외부 파트너가 SFTP/FTPS/FTP/AS2로 주고받기 회선이 부족한 대용량 오프라인 이전
소스 → 대상 NFS, SMB, HDFS, 객체 스토리지, 다른 클라우드 → S3, EFS, FSx 전 종류 온프레미스 앱 ↔ S3 / EBS 스냅샷 / 테이프 클라이언트 → S3 또는 EFS 장비 → S3
특징 온프레미스에 에이전트를 둔다. 예약 실행, 대역폭 제한, 무결성 검증, 메타데이터와 권한 보존 로컬 캐시 2개 이상 AZ의 엔드포인트, 관리형 워크플로 장비에 일부 컴퓨팅

Transfer Family 세부

  • 엔드포인트는 세 종류다. 공개(인터넷), VPC 내부(사설 IP, DX/VPN으로 접근), VPC 인터넷 연결(EIP)이다. FTP는 VPC 내부 엔드포인트에서만 허용된다.
  • 사용자 인증은 서비스 관리형(SSH 키), AD, 사용자 지정 IdP(Lambda나 API Gateway로 기존 인증 시스템 연동) 중에서 고른다.
  • 관리형 워크플로는 업로드 후 복사, 태깅, 암호 해독, Lambda 처리 같은 후처리를 단계로 정의한다.

사례 6. 사설망으로만 받아 바로 처리하는 SFTP 파일

상황 제약회사의 온프레미스 실험실 정보 시스템(LIMS)이 하루 수백 건의 분석 결과 파일을 SFTP로 내보낸다. 데이터 센터는 DX로 VPC와 연결되어 있다.

  • ① 보안 정책상 이 파일은 인터넷 구간을 지나거나 공인 엔드포인트로 수신되면 안 된다.
  • ② 파일은 PGP로 암호화되어 도착하며 도착 즉시 복호화해 S3의 처리용 접두사에 저장하고 태그를 붙여야 한다.
  • ③ SFTP 서버를 직접 패치하거나 확장하고 싶지 않다.

해결. 두 AZ 서브넷에 Transfer Family SFTP 서버를 VPC 내부 엔드포인트로 만들고 복호화 단계와 태그 단계로 구성한 관리형 워크플로를 연결한다. VPC 내부 엔드포인트는 사설 IP만 가지므로 온프레미스에서 DX로만 접근하고 공인 엔드포인트가 없다(①). 관리형 워크플로에는 PGP 복호화, 태그, 복사 단계가 내장되어 있어 업로드 직후 코드 없이 처리된다(②). 서버 패치와 확장은 AWS가 맡는다(③).

다른 선택지가 안 되는 이유

  • Transfer Family 공개 엔드포인트 + S3 이벤트 알림으로 Lambda 호출: 공개 엔드포인트로 받으므로 공인 엔드포인트 금지 조건을 어긴다(①). 복호화도 Lambda 코드로 직접 만들어야 한다(②).
  • 두 AZ의 EC2에 OpenSSH SFTP 서버 + 내부 NLB + cron 복호화 스크립트: 사설 경로라 보안 조건은 지킨다. 하지만 SFTP 서버의 패치, 확장, 장애 대응을 직접 해야 한다(③).
  • DataSync 에이전트로 1시간마다 S3에 복사 + Lambda 복호화: DataSync는 SFTP 수신 서버가 아니라 예약 복사 도구다. 1시간 간격이라 도착 즉시 처리 조건을 지키지 못하고(②) 복호화 코드도 직접 만들어야 한다.

회선으로 보낼지 장비로 보낼지

1Gbps 회선을 100% 쓴다고 가정한 이론 전송 시간이다.

데이터 이론 시간 판단
10TB 약 1일 네트워크(DataSync)
100TB 약 9~10일 회선과 기한에 따라 갈림
1PB 약 93일, 실효 80%면 4개월 가까이 오프라인 전송(Snowball Edge)
  • 공식은 TB × 8,000 ÷ Gbps = 초다. 회선을 업무 트래픽과 나눠 쓰면 더 늘어난다.
  • 회선을 이미 다 쓰고 있고 몇 주 안에 수십 TB 이상을 옮겨야 하면 Snowball Edge를 쓴다. 회선이 충분하고 매일 동기화해야 하면 DataSync를 쓴다.

Snow Family 장비

장비 상태 쓰임
Snowball Edge Storage Optimized 신규 고객 제공 중단(아래) 대용량 데이터 이전
Snowball Edge Compute Optimized 신규 고객 제공 중단(아래) 네트워크가 끊긴 현장(선박, 광산)의 엣지 컴퓨팅 + 데이터 수집
Snowcone 단종(2024 발표) 소형, 휴대용. 작은 현장에서 몇 TB
Snowmobile 단종(2024) 트럭, 엑사바이트. 수십 PB 이상

Snowball Edge 신규 고객 제공 중단 (2025-11-07)

  • 기존 고객만 계속 쓴다. AWS 권장 대안은 온라인 전송이면 DataSync, 오프라인 전송이면 AWS Data Transfer Terminal(고객이 디스크를 들고 가서 업로드하는 AWS 시설, 2024-12 출시), 엣지 컴퓨팅이면 Outposts다.
  • 사례 7은 Snowball Edge를 써 본 기존 고객 기준이다.
  • 출처: AWS Snowball Edge availability change

사례 7. 4주 안에 180TB를 옮기고 변경분까지 맞추기

상황 연구소가 온프레미스 NAS(NFS)에 있는 180TB 실험 데이터를 S3로 옮기고 4주 뒤 데이터 센터를 닫아야 한다.

  • ① 인터넷 회선은 1Gbps지만 업무 트래픽 때문에 이전에 쓸 수 있는 대역폭은 평균 300Mbps다.
  • ② 이전 기간에도 연구원들은 NAS에 매일 약 200GB를 새로 추가하고 컷오버 시점에는 S3의 데이터가 NAS와 일치해야 한다.
  • ③ 새 회선 계약은 원하지 않으며 Snowball Edge를 써 본 기존 고객이다.

먼저 회선으로 다 보낼 수 있는지 계산한다. 180TB × 8,000 ÷ 0.3Gbps = 4,800,000초, 약 56일이다. 4주(28일)의 두 배다.

해결. 두 단계를 함께 한다.

  1. Snowball Edge Storage Optimized 여러 대로 초기 데이터 전체를 복사해 반송하고 S3로 가져온다(①③).
  2. 초기 데이터가 S3에 들어간 뒤 DataSync 작업으로 NAS와 S3 사이의 변경분을 반복 동기화하고 컷오버 직전에 마지막 동기화를 실행한다. 하루 200GB는 200GB × 8 ÷ 0.3Gbps로 약 1.5시간이라 회선으로 충분하다. DataSync는 변경분만 옮기고 무결성을 검증하므로 마지막 동기화로 S3와 NAS를 맞춘다(②).

다른 선택지가 안 되는 이유

  • DataSync로 180TB 전체를 바로 네트워크 복사: 같은 회선을 쓰므로 약 56일이 걸려 기한을 넘긴다(①).
  • S3 File Gateway에 NAS 데이터 복사: 결국 같은 300Mbps 회선으로 S3에 올리므로 시간이 줄지 않는다(①). 게다가 계속 함께 쓰는 하이브리드용이지 일회성 이전 도구가 아니다.
  • 10Gbps DX 전용 연결 신청 후 DataSync: 새 회선 계약을 원하지 않는다는 조건에 어긋난다(③). 전용 연결은 개통까지 보통 몇 주에서 몇 달이 걸려 기한 안에 쓰기도 어렵다.

서버와 DB 이전 도구

데이터 센터 계약 만료처럼 기한이 정해진 이전에서는 서비스를 멈추는 시간을 얼마나 줄이느냐가 가장 큰 문제다. AWS Application Migration Service(MGN)는 서버 디스크를 블록 단위로 계속 복제해 EC2로 옮긴다. AWS Database Migration Service(DMS)는 원본 DB를 운영하는 동안 데이터를 복제해 다른 DB로 옮기며 둘 다 복제가 따라잡은 뒤 짧은 컷오버로 전환한다.

도구 하는 일 설계할 때 볼 점
MGN 서버를 블록 단위로 지속 복제해 EC2로 옮긴다 리호스트. 에이전트 설치 → 초기 복제 + 지속 복제 → 테스트 인스턴스 → 소스 중지 후 컷오버 순서로 진행해 다운타임이 가장 짧다
DMS DB 데이터를 다른 DB로 옮긴다 동종/이기종 DB 이전. 전체 로드 + CDC(Change Data Capture, 지속 복제)로 원본을 운영하면서 옮긴다. 복제 인스턴스(또는 DMS Serverless)를 쓴다
SCT(AWS Schema Conversion Tool) 스키마 변환 이기종(Oracle → Aurora PostgreSQL)일 때 스키마와 프로시저를 변환한다. 콘솔 내장 기능은 DMS Schema Conversion이다
Migration Hub 여러 이전 도구의 진행 상황을 한곳에서 추적 신규 제공 중단(아래)
Application Discovery Service 이전 계획 전에 온프레미스 서버 인벤토리, 사용률, 의존성 수집 에이전트형 / 에이전트리스. 신규 제공 중단(아래)
App2Container 기존 Java, .NET 앱을 컨테이너화 -
  • 동종 이전(MySQL → RDS MySQL)은 네이티브 덤프/복제나 DMS만으로 된다. 이기종 이전은 SCT + DMS를 쓴다.

설계할 때 알아 둘 점: VM을 그대로 옮기는 리프트 앤 시프트에 DMS를 쓰지 않는다. DMS는 DB 전용이고 VM은 MGN으로 옮긴다.

Migration Hub, Application Discovery Service 신규 고객 제공 중단 (2025-11-07)

7R 이전 전략

전략 뜻 예
리호스트(Rehost) 그대로 옮김(리프트 앤 시프트) VM → EC2 (MGN)
리플랫폼(Replatform) 일부만 관리형으로 자체 MySQL → RDS MySQL
리팩터(Refactor) 구조 재설계 모놀리스 → 서버리스, 마이크로서비스
리퍼체스(Repurchase) SaaS로 교체 자체 CRM → Salesforce
리타이어(Retire) 폐기 안 쓰는 앱 끄기
리테인(Retain) 일단 온프레미스 유지 규제나 의존성 때문에 보류
리로케이트(Relocate) 하이퍼바이저 단위 이동 VMware → VMware Cloud on AWS

사례 8. VMware 서버 60대와 Oracle DB를 6주 안에 옮기기

상황 VMware 환경에서 Linux와 Windows 애플리케이션 서버 60대, Oracle DB 서버 1대를 운영한다.

  • ① 데이터 센터 임대 계약이 6주 뒤에 끝나므로 애플리케이션 서버는 코드 변경 없이 EC2로 옮긴다.
  • ② 라이선스 비용을 줄이려고 Oracle DB는 Aurora PostgreSQL로 바꾸기로 했고 이 DB에는 저장 프로시저가 많다.
  • ③ 두 시스템 모두 컷오버 때 다운타임이 가장 짧아야 한다.

해결. 서버와 DB에 각각 다른 도구를 쓴다.

  1. 애플리케이션 서버에 MGN 복제 에이전트를 설치해 지속 복제하고 테스트 인스턴스로 검증한 뒤 컷오버한다. 초기 복제 후 변경분을 계속 복제하므로 짧은 컷오버로 전환할 수 있다(①③).
  2. SCT(또는 DMS Schema Conversion)로 스키마와 저장 프로시저를 먼저 변환하고(②) DMS 전체 로드 + CDC로 원본을 운영하면서 데이터를 따라잡은 뒤 컷오버한다(③).

다른 선택지가 안 되는 이유

  • DMS로 VM 60대를 EC2로 이전: DMS는 DB 전용이라 VM이나 서버를 옮기지 못한다(①).
  • VM Import/Export로 VM 이미지를 내보내 AMI로 가져오기: 가능은 하다. 하지만 VM마다 내보내기, 업로드, 가져오기를 해야 해서 60대에는 운영 부담이 크고 지속 복제가 없어 내보내는 동안 다운타임이 길어진다(③).
  • DMS 전체 로드 + CDC로 Oracle을 Aurora PostgreSQL에 바로 복제: DMS는 테이블과 데이터를 옮기지만 Oracle PL/SQL 저장 프로시저 같은 코드 객체를 PostgreSQL용으로 변환하지 않는다. 이기종이면 스키마 변환이 먼저다(②).

AWS Backup: 여러 서비스의 백업을 정책 하나로

RDS, EBS, DynamoDB, EFS는 각자 스냅샷이나 백업 기능이 따로 있다. 서비스마다 스케줄, 다른 리전 복사, 보존 기간 지난 백업 삭제를 스크립트로 만들면 관리할 코드가 계속 늘어난다. AWS Backup은 여러 서비스의 백업을 백업 계획 하나로 묶어 스케줄, 보존, 콜드 스토리지 이동, 다른 리전과 계정으로의 복사를 정책으로 관리한다.

구성 내용
백업 계획 스케줄(매일, 매월), 백업 기간, 수명 주기(N일 후 콜드 스토리지, 보존 기간 후 삭제)
백업 볼트 백업이 저장되는 곳. KMS 키로 암호화하고 볼트 접근 정책을 건다
리소스 할당 리소스 ID 또는 태그 기반(예: backup=daily 태그가 붙은 모든 리소스)
교차 리전, 교차 계정 복사 DR용 사본을 다른 리전이나 다른 계정의 볼트로 복사
Vault Lock 볼트 단위 WORM. 거버넌스 모드 / 규정 준수 모드(유예 기간 후 누구도 삭제, 변경 불가)
Organizations 백업 정책 조직 전체 계정에 백업 계획을 일괄 적용
대상 EC2, EBS, RDS, Aurora, DynamoDB, EFS, FSx, S3, Storage Gateway 볼륨 등
  • 콜드 스토리지로 옮긴 백업은 최소 90일 보관해야 하고 콜드 스토리지를 지원하는 리소스 유형이 정해져 있다.

설계할 때 알아 둘 점: DynamoDB를 매월 백업해 6개월 뒤 콜드 스토리지로 옮기고 7년 보관하려면 AWS Backup 계획 하나로 설정한다. DynamoDB 백업은 S3 객체가 아니라서 S3 수명 주기 규칙을 걸 수 없다.

사례 9. 관리자 자격 증명이 털려도 지울 수 없는 백업

상황 핀테크 회사가 여러 AWS 계정에서 RDS for PostgreSQL, EFS, EBS 볼륨이 붙은 EC2를 운영한다.

  • ① 규정상 모든 리소스를 매일 백업해 35일 동안 보존해야 한다.
  • ② 랜섬웨어 공격으로 관리자 자격 증명이 탈취되더라도 보존 기간 중에는 백업을 지우거나 보존 설정을 바꿀 수 없어야 한다.
  • ③ 리전 장애에 대비해 다른 리전에도 사본이 있어야 한다.
  • ④ 운영 부담은 가장 적어야 한다.

해결. 두 조치를 함께 한다.

  1. AWS Backup 백업 계획으로 매일 백업하고 35일 동안 보존하며 다른 리전의 백업 볼트로 복사하는 규칙을 추가한다. 리소스는 태그로 할당한다. 계획 하나로 RDS, EFS, EC2/EBS의 스케줄과 보존 기간을 관리하고 새 리소스도 태그만 붙이면 포함된다(①③④).
  2. 원본과 대상 백업 볼트 모두에 Vault Lock 규정 준수 모드를 건다. 유예 기간이 끝나면 루트 사용자나 AWS도 잠금을 풀 수 없고 보존 기간 동안 복구 지점을 지울 수 없다(②). 양쪽 볼트에 모두 걸어야 원본과 사본이 함께 보호된다.

다른 선택지가 안 되는 이유

  • 서비스별 네이티브 스냅샷 + EventBridge와 Lambda로 다른 리전 복사, 35일 후 삭제: 동작은 한다. 하지만 서비스마다 스냅샷, 복사, 삭제 로직을 직접 만들고 운영해야 하며(④) 삭제 방지도 보장하지 못한다(②).
  • Vault Lock 거버넌스 모드: 충분한 IAM 권한이 있으면 잠금을 풀 수 있다. 관리자 자격 증명이 탈취되는 상황을 막지 못한다(②).
  • 백업을 S3 버킷으로 내보내고 S3 Object Lock 규정 준수 모드 + 35일 후 삭제 수명 주기 규칙: AWS Backup의 복구 지점은 고객 S3 버킷에 객체로 저장되지 않는다. RDS와 EBS 백업은 버킷 객체가 아니어서 S3 Object Lock과 수명 주기 규칙을 걸 수 없다(②).

정리: 요구별 구성

요구 구성
용량과 독립적인 IOPS, 비용 효율 gp3
임시, 스크래치 데이터 + 고IOPS + 저렴 인스턴스 스토어
같은 AZ의 여러 인스턴스가 블록 볼륨 공유 io1/io2 Multi-Attach
EBS를 다른 AZ나 리전으로 스냅샷 → 볼륨 생성 / 스냅샷 복사
여러 AZ의 Linux 서버가 같은 파일 공유 EFS 리전형
접근 빈도 낮은 파일 비용 절감 EFS IA, Archive + 수명 주기 정책
Windows, SMB, AD, NTFS ACL, AZ 장애 대비 FSx for Windows File Server Multi-AZ
HPC, ML, 병렬 처리 + S3 연동 FSx for Lustre (단기 작업은 Scratch)
온프레미스 NetApp, NFS + SMB + iSCSI 동시 FSx for NetApp ONTAP
온프레미스 ZFS 이전 FSx for OpenZFS
온프레미스 앱이 NFS/SMB로 S3를 계속 사용 S3 File Gateway
온프레미스 iSCSI, 로컬 용량 부족 Volume Gateway 캐시형
온프레미스 iSCSI, 전체 저지연 + 클라우드 백업 Volume Gateway 저장형
테이프 백업 소프트웨어 유지 + 클라우드 Tape Gateway
온프레미스 NFS/SMB → S3, EFS, FSx 이전이나 주기 복사 DataSync
파트너가 SFTP/FTPS/AS2로 전송 Transfer Family
사설망으로만 SFTP 수신 + 도착 즉시 처리 Transfer Family VPC 내부 엔드포인트 + 관리형 워크플로
회선 부족, 수십 TB~PB, 기한 Snowball Edge (초기 이전) + DataSync (변경분 동기화)
끊긴 현장에서 컴퓨팅 + 수집 Snowball Edge Compute Optimized
VM, 물리 서버 리프트 앤 시프트, 다운타임 최소 MGN
DB 이전, 원본 운영 중 지속 복제 DMS (CDC)
Oracle → Aurora 등 엔진 변경 SCT + DMS
여러 서비스 백업을 스케줄, 보존, 콜드 스토리지로 중앙 관리 AWS Backup
조직 전체 백업 일괄 적용 Organizations 백업 정책 / 태그 기반 할당
백업을 누구도 삭제하지 못하게 Backup Vault Lock (규정 준수 모드)
DR용 백업 사본을 다른 리전이나 계정에 AWS Backup 교차 리전, 교차 계정 복사
이 글은 AWS 아키텍처 시리즈입니다. 6 / 8
  1. VPC 네트워크 기본 - AWS 아키텍처 #1
  2. 로드 밸런서, CloudFront, Route 53 - AWS 아키텍처 #2
  3. IAM과 계정 - AWS 아키텍처 #3
  4. 암호화와 보안 서비스 - AWS 아키텍처 #4
  5. S3 오브젝트 스토리지 - AWS 아키텍처 #5
  6. 블록 스토리지, 파일 스토리지, 마이그레이션 - AWS 아키텍처 #6
  7. 배포와 비용 최적화 - AWS 아키텍처 #7
  8. 클라우드 데이터베이스 - AWS 아키텍처 #8
태그
댓글0