AWS기반 데이터 분석 파이프라인 구축[8]

학습 결과 

• 서버리스 데이터 레이크 아키텍처 설계
• Amazon S3 스토리지를 사용하여 데이터를 Data Lake로 수집하는 데이터 처리 파이프라인 구축
• 실시간 스트리밍 데이터에 Amazon Kinesis 사용
• AWS Glue를 사용하여 데이터 세트 자동 분류
• AWS Glue 개발 엔드포인트에 연결된 Amazon SageMaker Jupyter 노트북에서 대화형 ETL 스크립트 실행
• Glue에서 Amazon Redshift로 데이터 적재
• Amazon Athena를 사용하여 데이터를 쿼리하고 Amazon QuickSight를 사용하여 시각화 

 

 

삭제 할 리소스

실습을 마무리하면서 사용했던 리소스를 정리하지 않으면 AWS 사용 요금이 계속해서 발생한다. 따라서 아래 모든 단계에 따라 생성된 모든 리소스를 삭제한다. 

1. Kinesis Firehose Delivery Stream

• 이동: Kinesis 콘솔 
• Firehose 삭제: analytics-workshop-stream 

 

2. Lambda

• 이동: Lambda 콘솔
• Analyticsworkshop_top5Songs 선택
• Actions클릭 드롭 다운에서 Delete 선택

 

3. Glue Database

• 이동: Glue 콘솔 
• Database 삭제: analyticsworkshopdb

 

4. Glue Crawler

• 이동: Glue Crawlers
• Crawler 삭제: AnalyticsworkshopCrawler

 

5. Glue Dev Endpoints

• 이동: Glue Dev Endpoints 
• endpoint 삭제: analyticsworkshopEndpoint1
• endpoint 삭제: analyticsworkshopEndpoint2

 

6. Glue Studio Job

• 이동: Glue Jobs 
• AnalyticsOnAWS-GlueStudio 체크
• Action 클릭 후 Delete 선택

 

7. Glue DataBrew projects

• GoTo: Glue DataBrew Projects
• AnalyticsOnAWS-GlueDataBrew 체크
• Action 클릭 후 Delete 선택
• Delete attached receipe 클릭 후 Delete 클릭

 

8. Glue DataBrew datasets

• GoTo: Glue DataBrew Datasets 
• reference-data-dataset 와 raw-dataset 체크
• Action 클릭 후 Delete 선택
• Delete 클릭

 

9. Glue DataBrew Jobs

• GoTo: Glue DataBrew Jobs 
• raw-dataset profile job 체크
• Action 클릭 후 Delete 선택
• Delete 클릭

 

10. Sagemaker Notebook

• 노트북을 삭제하기 전에 노트북에 로컬로 노트북 파일을 다운로드 할 수 있습니다.
• 이동: Notebooks 콘솔 
• 노트북 정지 후 삭제: aws-glue-AnalyticsworkshopRedshiftNotebook
• 노트북 정지 후 삭제: aws-glue-AnalyticsworkshopNotebook

 

11. Glue connection 삭제

• 이동: Glue Connections 
• analytics_workshop 선택
• Actions 클릭 후 Delete Connection 선택
• Delete 클릭

 

12. IAM Role 삭제

• 이동: IAM 콘솔 
• Analyticsworkshop 검색
• Role 삭제: AnalyticsworkshopGlueRole
• Role 삭제: Analyticsworkshop_RedshiftRole
• 검색 박스에서 Analyticsworkshop_top5Songs 검색
• 이 롤을 찾아 삭제 [Analyticsworkshop_top5Songs-role-]

 

13. Redshift cluster 삭제

• 이동: Redshift 콘솔
• redshift-cluster-1 선택
• Actions 메뉴 클릭 후 Delete 클릭
• Create final snapshot 체크 안함
• Delete 클릭

 

14. S3 Gateway Endpoint 삭제

• 이동: S3 Gateway Endpoints 
• RedshiftS3EP 선택
• Actions 클릭 후 Delete Endpoint 선택

 

15. Security Group 룰 되돌리기

• 이동: EC2 Security Groups 
• default security group:
  • Inbound Rules 클릭
    • Edit Rules 클릭
    • S3 prefix id 가 있는 행 삭제
    • Save rules 클릭
  • Outbound rules 클릭
    • Edit Rules 클릭
    • Self-referencing All TCP 룰 삭제
    • Save rules 클릭

 

16. S3 bucket 삭제

• 이동: S3 콘솔 
• 버킷 삭제: yourname-analytics-workshop-bucket
  • 먼저 메시지에 따라 버킷을 비워야 할 수 있습니다.
  • 비워지면 버킷 삭제를 진행합니다.

 

17. Cognito CloudFormation 스택 삭제

• 이동: CloudFormation 
• Kinesis-Data-Generator-Cognito-User 클릭
• Delete 클릭
• 확인 창에서:
  • Delete 클릭

 

18. QuickSight 계정 삭제

• 이동: Quicksight 콘솔
• 자신의 계정 클릭(오른쪽 상단) > Manage QuickSight > Account Settings > Unsubscribe

• Cognito Userpool
  • 이동: Cognito 콘솔
  • Kinesis Data-Generator Users 클릭
  • Delete Pool 클릭