1. IAM 역할 생성
S3의 데이터를 접근하기 위한 AmazonS3FullAccess, Glue 서비스를 위한 AWSGlueServiceRole, 보안 암호를 위한 SecretsManagerReadWrite 권한을 가진 역할을 생성합니다.
2. S3 bucket 생성 및 데이터 업로드
S3 버킷을 생성하고, 그 버킷에 데이터를 업로드합니다.
3. Glue Database/Table 생성
4. Glue Crawler 생성
Crawler 생성이 완료되었다면, Run crawler 버튼을 통해 크롤러를 실행합니다.
크롤러 실행이 완료되었다면, Data Catalog가 생성되었습니다.
5. AWS Secrets Manager 보안 암호 생성
값에 Snowflake의 User, Password, Warehouse, Role을 입력합니다.
6. Glue Connection 생성
7. Glue Job 생성
다음과 같이 job을 설정하고, 저장 후 Run 버튼으로 실행합니다.
job이 성공한 것을 확인할 수 있습니다.
8. Snowflake에서 데이터 확인
'AWS' 카테고리의 다른 글
| AWS기반 데이터 분석 파이프라인 구축[8] (0) | 2022.10.19 |
|---|---|
| AWS기반 데이터 분석 파이프라인 구축[7] (0) | 2022.10.19 |
| AWS기반 데이터 분석 파이프라인 구축[6] (0) | 2022.10.18 |
| AWS기반 데이터 분석 파이프라인 구축[5] (0) | 2022.10.12 |
| AWS기반 데이터 분석 파이프라인 구축[4] (0) | 2022.10.07 |