Kinesis — 실시간 데이터 스트리밍

매 초 수만 건의 클릭 이벤트, IoT 센서 데이터, 금융 거래, 소셜 미디어 포스팅이 쏟아지는 세상입니다. 이 데이터를 모아서 하루에 한 번 처리하는 것으로는 부족합니다. 사용자는 지금 이 순간의 인기 상품을 보고 싶고, 보안팀은 실시간으로 이상 거래를 감지해야 하며, 운영팀은 즉각적으로 서비스 이상을 파악해야 합니다.

전통적인 배치 처리(Batch Processing)는 데이터를 모아서 주기적으로 처리합니다. 하지만 데이터가 발생한 시점과 처리 시점 사이의 지연(Latency)이 문제입니다. 이 지연을 밀리초~수 초 수준으로 줄이는 것이 스트리밍 처리(Stream Processing)입니다.

Amazon Kinesis는 AWS의 실시간 데이터 스트리밍 플랫폼입니다. 초당 수백만 건의 레코드를 수집하고, 실시간으로 처리하고, 다양한 대상에 전달합니다.

이 레슨을 마치면 다음을 이해할 수 있습니다:

• 배치 처리와 스트리밍 처리의 근본적인 차이
• Kinesis 제품군(Data Streams, Firehose, Data Analytics)의 역할과 차이
• Kinesis Data Streams의 핵심 개념 — 샤드, 파티션 키, 시퀀스 번호
• Producer/Consumer 패턴과 Lambda 연동
• Kinesis Data Firehose로 S3/Redshift에 자동 전달하는 방법
• 실시간 데이터 파이프라인 설계 패턴