🤖 AI 챗봇 with Bedrock

왜 이걸 만들까? — AI 챗봇이 필요한 순간

"고객 문의 응답 시간을 줄이고 싶어요." "자사 매뉴얼에 기반한 정확한 답변을 자동으로 제공하고 싶어요." 이런 요구는 이제 거의 모든 기업에서 들립니다.

여러분이 한 SaaS 스타트업의 개발자라고 상상해 보세요. 고객 지원팀은 매일 같은 질문에 반복 답변하느라 지쳐 있고, 신규 기능 출시 때마다 FAQ 문서를 업데이트하는 것도 부담입니다. "우리 제품 문서를 AI가 읽고 고객에게 정확히 답변해 주면 좋겠는데..."라는 생각이 들죠.

하지만 GPT나 Claude 같은 범용 모델에 질문하면, 우리 회사 제품에 특화된 정보를 알지 못합니다. 모델을 직접 파인튜닝하자니 비용과 시간이 만만치 않습니다.

바로 여기서 RAG(Retrieval-Augmented Generation) 기법이 빛을 발합니다.

RAG는 사용자가 질문하면:

1. 검색(Retrieval): 우리 회사 문서 중에서 관련 내용을 찾고
2. 생성(Generation): 그 내용을 바탕으로 AI가 자연스러운 답변을 만들어 줍니다

모델을 재학습시키지 않아도, 우리 문서만 업로드하면 우리 회사 전용 AI 상담사가 완성됩니다.

이 실습에서는 Amazon Bedrock의 Foundation Model과 Knowledge Base 기능을 활용하여, S3에 업로드한 문서를 기반으로 질문에 답변하는 RAG 챗봇을 직접 만들어 봅니다.

완성하면 이런 흐름이 동작합니다:

• 사용자가 API로 질문을 보냄 (예: "환불 절차가 어떻게 되나요?")
• Lambda가 Bedrock을 호출하여, Knowledge Base에서 관련 문서를 찾아 답변 생성
• 출처(Source)까지 포함된 정확한 답변이 JSON으로 반환
• 문서에 없는 내용을 질문하면 "해당 정보를 찾을 수 없습니다"라고 솔직히 답변

이 프로젝트를 통해 배우게 되는 것:

• Amazon Bedrock API 사용법: Foundation Model을 API로 호출하는 방법
• RAG 아키텍처: 외부 문서 기반 AI 답변 생성 원리
• 프롬프트 엔지니어링: Temperature, Top-P, System Prompt 활용법
• 서버리스 API 구축: Lambda + API Gateway로 챗봇 엔드포인트 배포

아키텍처 개요

데이터 흐름

비용 예측

Step 1: Bedrock 모델 액세스 활성화

이 단계에서는 실습에 사용할 AI 모델의 접근 권한을 활성화합니다. Bedrock은 보안을 위해 모델별로 명시적 승인이 필요합니다. 한 번 활성화하면 해당 리전에서 계속 사용할 수 있습니다.

# 모델 액세스 상태 확인
aws bedrock list-foundation-models \
  --region us-east-1 \
  --query "modelSummaries[?providerName=='Anthropic'].modelId"

Step 2: Knowledge Base 생성 (S3 문서 업로드)

Knowledge Base는 RAG의 핵심입니다. 문서를 업로드하면 Bedrock이 자동으로 텍스트를 청크(chunk) 단위로 분할하고, 각 청크를 벡터 임베딩으로 변환하여 OpenSearch Serverless에 저장합니다. 사용자가 질문하면 질문도 임베딩으로 변환하여, 가장 유사한 문서 청크를 찾아 답변에 활용합니다.

Step 3: Lambda 함수 작성 (Bedrock API 호출)

이 Lambda 함수가 챗봇의 두뇌 역할을 합니다. 사용자 메시지를 받아 Bedrock Claude 모델을 호출하고, 결과를 정리하여 반환합니다. 시스템 프롬프트로 모델의 역할과 언어를 제어하는 것이 핵심입니다.

# Lambda 함수 생성
aws lambda create-function \
  --function-name chatbot-bedrock-handler \
  --runtime python3.12 \
  --handler lambda_function.lambda_handler \
  --role arn:aws:iam::YOUR_ACCOUNT:role/lambda-bedrock-role \
  --timeout 60 --memory-size 256 \
  --zip-file fileb://function.zip

아래는 Bedrock Claude 모델을 호출하는 Lambda 함수의 전체 코드입니다. Lambda 콘솔의 코드 편집기에 붙여넣으세요.

# chatbot-bedrock-handler Lambda — Bedrock Claude 호출 (Python 3.12 런타임)
import json
import boto3
 
bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')
 
def lambda_handler(event, context):
    body = json.loads(event['body'])
    user_message = body['message']
 
    # Claude 3 Sonnet 모델 호출
    response = bedrock.invoke_model(
        modelId='anthropic.claude-3-sonnet-20240229-v1:0',
        contentType='application/json',
        body=json.dumps({
            'anthropic_version': 'bedrock-2023-05-31',
            'max_tokens': 1024,
            'system': '당신은 AWS 클라우드 전문가입니다. 한국어로 답변하세요.',
            'messages': [
                {'role': 'user', 'content': user_message}
            ]
        })
    )
 
    result = json.loads(response['body'].read())
    assistant_message = result['content'][0]['text']
 
    return {
        'statusCode': 200,
        'headers': {
            'Content-Type': 'application/json',
            'Access-Control-Allow-Origin': '*'
        },
        'body': json.dumps({
            'message': assistant_message,
            'usage': {
                'input_tokens': result['usage']['input_tokens'],
                'output_tokens': result['usage']['output_tokens']
            }
        }, ensure_ascii=False)
    }

Step 4: API Gateway 엔드포인트 설정

API Gateway는 외부에서 챗봇에 접근할 수 있는 HTTPS 엔드포인트를 제공합니다. 이 단계에서 REST API를 생성하고, /chat 경로에 POST 요청을 받아 Lambda로 전달하도록 구성합니다.

Step 5: 프롬프트 엔지니어링 실습

프롬프트 엔지니어링은 AI 모델에게 어떻게 질문하느냐에 따라 답변 품질이 크게 달라지는 기법입니다. 같은 모델이라도 프롬프트를 잘 설계하면 훨씬 정확하고 유용한 답변을 얻을 수 있습니다.

Step 6: RAG 정확도 테스트

실제 챗봇이 잘 동작하는지 체계적으로 테스트합니다. Knowledge Base에 있는 내용과 없는 내용을 구분하여 질문하고, 응답의 정확성과 지연 시간을 측정합니다.

핵심 개념 확인

트러블슈팅 가이드

완성 후 테스트 가이드

모든 구성이 완료되었다면, 아래 체크리스트로 전체 시스템을 단계적으로 검증하세요. 테스트는 개별 컴포넌트 → 통합 → 엣지 케이스 순서로 진행합니다:

1. API 연결 테스트: curl -X POST https://{api-id}.execute-api.us-east-1.amazonaws.com/dev/chat -H "Content-Type: application/json" -d '{"message": "안녕하세요"}' → 200 응답 확인
2. RAG 정확도 테스트: Knowledge Base 문서에 있는 내용으로 질문 → 문서 기반 정확한 답변 확인
3. Hallucination 방지 테스트: 문서에 없는 내용으로 질문 → "해당 정보를 찾을 수 없습니다" 류의 답변 확인
4. 토큰 사용량 확인: 응답 JSON의 usage 필드에서 입력/출력 토큰 수 확인
5. 성능 측정: 5회 연속 호출하여 평균 응답 시간 기록 (목표: 5초 이내)
6. 에러 핸들링: 빈 메시지, 특수문자, 매우 긴 메시지 전송 시 적절한 에러 메시지 반환 확인
7. 비용 확인: Bedrock 콘솔 → 사용량 탭에서 실습 중 소비한 토큰 수와 예상 비용 확인
8. CloudWatch 로그 확인: Lambda 함수의 실행 시간, 메모리 사용량, 에러 여부를 로그에서 확인

확장 아이디어

1. 대화 히스토리 추가: DynamoDB에 세션별 대화 이력을 저장하고, 이전 대화 맥락을 포함하여 연속 대화 지원
2. 스트리밍 응답 구현: Bedrock의 invoke_model_with_response_stream API를 사용하여 답변이 실시간으로 글자 단위로 출력되도록 구현
3. 다중 Knowledge Base: 부서별(영업, 기술지원, HR) Knowledge Base를 분리하고, 질문 의도에 따라 자동 라우팅
4. Guardrails 적용: Bedrock Guardrails로 부적절한 질문 필터링, 민감 정보(PII) 자동 마스킹 구현
5. 비용 모니터링 대시보드: CloudWatch 커스텀 메트릭으로 일별 토큰 사용량/비용을 추적하는 대시보드 구축

학습 정리

리소스 정리