🖼️ 이미지 자동 처리 파이프라인

왜 이미지 자동 처리 파이프라인을 만들까?

여러분이 커머스 플랫폼의 개발자라고 상상해 보세요. 판매자가 상품 이미지를 올리면 다음 작업이 필요합니다:

• 원본 보관: 고해상도 원본을 안전하게 저장
• 썸네일 생성: 상품 목록에 표시할 300x300px 이미지
• 워터마크 삽입: 무단 도용 방지를 위한 반투명 텍스트 오버레이
• 포맷 변환: JPEG를 WebP로 변환하여 용량 30-50% 절감 (사용자 로딩 속도 향상)

처음에는 "이미지 올릴 때 서버에서 처리하면 되지 않나?"라고 생각할 수 있습니다. 하지만:

• 이미지 처리는 CPU 집약적 작업 — 웹 서버 응답 시간이 크게 늘어남
• 갑자기 이미지 100장이 동시에 올라오면 서버 과부하 발생
• 처리 도중 서버가 죽으면 어디까지 처리했는지 알 수 없음

이 문제를 해결하는 패턴이 이벤트 기반 파이프라인입니다:

1. S3에 이미지가 업로드되면 자동으로 파이프라인이 시작됩니다
2. 각 단계(리사이징, 워터마크, 변환)를 독립된 Lambda가 처리합니다
3. Step Functions가 순서 제어와 에러 핸들링을 담당합니다
4. 처리 완료 시 SNS로 알림을 보냅니다

서버를 관리할 필요 없이, 이미지 1장이든 1만 장이든 자동으로 스케일링됩니다. 이것이 서버리스 파이프라인의 힘입니다.

아키텍처 개요

파이프라인 처리 흐름

비용 예측

Step 1: S3 버킷 생성 (Input / Output)

원본 이미지를 받을 Input 버킷과, 처리된 이미지를 저장할 Output 버킷 두 개를 만듭니다.

aws s3 mb s3://image-pipeline-input-$(aws sts get-caller-identity --query Account --output text)
aws s3 mb s3://image-pipeline-output-$(aws sts get-caller-identity --query Account --output text)

Step 2: Lambda 함수 작성 (리사이징 / 워터마크 / 변환)

파이프라인의 각 단계를 담당할 Lambda 함수 3개를 만듭니다. Python의 Pillow 라이브러리를 사용합니다.

# image-resize Lambda 핵심 코드 (Python 3.12)
import boto3, io, os
from PIL import Image
 
s3 = boto3.client('s3')
OUTPUT_BUCKET = os.environ['OUTPUT_BUCKET']
 
def lambda_handler(event, context):
    bucket = event['bucket']
    key = event['key']
 
    # S3에서 원본 이미지 다운로드
    response = s3.get_object(Bucket=bucket, Key=key)
    img = Image.open(io.BytesIO(response['Body'].read()))
 
    # 300x300 썸네일 생성 (비율 유지)
    img.thumbnail((300, 300), Image.LANCZOS)
 
    # Output 버킷에 저장
    buffer = io.BytesIO()
    img.save(buffer, format='JPEG', quality=85)
    buffer.seek(0)
 
    output_key = f"thumbnails/{key.split('/')[-1]}"
    s3.put_object(Bucket=OUTPUT_BUCKET, Key=output_key, Body=buffer, ContentType='image/jpeg')
 
    return {**event, 'resizedKey': output_key, 'resizedBucket': OUTPUT_BUCKET}

Step 3: Step Functions 상태 머신 정의

세 Lambda 함수를 순서대로 실행하고, 각 단계에서 에러가 발생하면 에러 핸들러로 분기하는 상태 머신을 만듭니다.

{
  "StartAt": "ResizeImage",
  "States": {
    "ResizeImage": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:ap-northeast-2:ACCOUNT:function:image-resize",
      "Next": "WatermarkImage",
      "Retry": [{"ErrorEquals": ["States.TaskFailed"], "MaxAttempts": 2, "BackoffRate": 2}],
      "Catch": [{ "ErrorEquals": ["States.ALL"], "Next": "HandleError" }]
    },
    "WatermarkImage": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:ap-northeast-2:ACCOUNT:function:image-watermark",
      "Next": "ConvertFormat",
      "Catch": [{ "ErrorEquals": ["States.ALL"], "Next": "HandleError" }]
    },
    "ConvertFormat": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:ap-northeast-2:ACCOUNT:function:image-convert",
      "Next": "NotifyComplete"
    },
    "NotifyComplete": {
      "Type": "Task",
      "Resource": "arn:aws:states:::sns:publish",
      "Parameters": {
        "TopicArn": "arn:aws:sns:ap-northeast-2:ACCOUNT:image-pipeline-notify",
        "Message": "이미지 처리가 완료되었습니다."
      },
      "End": true
    },
    "HandleError": {
      "Type": "Pass",
      "Result": "처리 중 오류 발생",
      "End": true
    }
  }
}

Step 4: S3 이벤트 트리거 연결

이미지가 S3에 업로드되면 자동으로 Step Functions가 시작되도록 이벤트를 연결합니다.

Step 5: SNS 완료 알림 설정

파이프라인 처리가 완료되면 관리자에게 이메일 알림을 보내도록 설정합니다.

Step 6: 완성 후 통합 테스트

파이프라인 전체를 테스트합니다.

트러블슈팅

완성 후 추가 검증

파이프라인의 안정성을 검증하는 추가 테스트를 수행합니다.

핵심 개념 확인

확장 아이디어

기본 파이프라인이 완성되었으니, 더 발전시켜 보세요:

1. 다중 해상도 생성: Parallel 상태로 300x300, 600x600, 1200x1200 세 가지 크기를 동시에 생성
2. 이미지 메타데이터 추출: Pillow의 exif 모듈로 촬영 날짜, 카메라 정보 등을 DynamoDB에 저장
3. Amazon Rekognition 연동: AI로 이미지에 부적절한 콘텐츠가 있는지 자동 감지
4. CloudFront CDN 배포: Output 버킷에 CloudFront를 연결하여 전세계에서 빠르게 접근
5. PNG/GIF 지원 확장: 접미사 필터를 추가하고 Lambda에서 포맷별 분기 처리

학습 정리

리소스 정리