Immersion In Data

전체 글 196

AWS Glue를 통한 Snowflake로의 ETL 수행하기

1. IAM 역할 생성S3의 데이터를 접근하기 위한 AmazonS3FullAccess, Glue 서비스를 위한 AWSGlueServiceRole, 보안 암호를 위한 SecretsManagerReadWrite 권한을 가진 역할을 생성합니다.  2. S3 bucket 생성 및 데이터 업로드S3 버킷을 생성하고, 그 버킷에 데이터를 업로드합니다.  3. Glue Database/Table 생성  4. Glue Crawler 생성Crawler 생성이 완료되었다면, Run crawler 버튼을 통해 크롤러를 실행합니다. 크롤러 실행이 완료되었다면, Data Catalog가 생성되었습니다.  5. AWS Secrets Manager 보안 암호 생성값에 Snowflake의 User, Password, Warehous..

AWS 2024.06.03

[SharePlex] 운영중인 큐에서 복제 대상 추가

1. config 파일에 복제 대상 추가2. Post 프로세스 중지sp_ctrl> stop postPost 프로세스를 먼저 중지시켜 Target에 적용되지 않도록 합니다.3. Activate config sp_ctrl> activate config 복제 대상이 추가된 config 파일을 활성화 시킵니다. Post 프로세스가 중지되었기 때문에 데이터가 Post Queue에 쌓이게 됩니다.  Post 프로세스를 중지시키지 않으면 Out of sync가 발생합니다.4. 초기적재를 위한 SCN 확인SQL> select current_scn from v$database;확인한 SCN 부터 초기적재를 하기 위함입니다.5. 초기적재Datapump를 활용하여 초기적재를 시작합니다. (Target에 테이블 생성됨)  4..

SharePlex 2024.05.02

[SharePlex] 프로세스 삭제

1. sp_로 시작하는 프로세스 검색splex@source:/splex/prod/bin]$ ps -ef | grep sp_splex    13532     1  0 16:22 ?        00:00:10 /splex/prod/.app-modules/sp_ordr -u2100 splex    13542     1  0 16:23 ?        00:00:01 /splex/prod/.app-modules/sp_xport -u2100 splex    20863 14695  0 17:45 pts/1    00:00:00 grep --color=auto sp_ 2. 없어지지 않은 프로세스 죽이기 splex@source:/splex/prod/bin]$ kill -9 13532 135423. splex ipc ..

SharePlex 2024.05.02

[SharePlex] Parameter 정리

1. set param SP_OCT_MIN_SESSIONS 8  ## default : 8동시 트랜잭션의 데이터를 포함하도록 유지하는 최소 하위 대기열 수를 제어 Post 프로세스가 자체 동시성을 높일 수 있도록 하여 PEP(Post Enhanced Performance) 기능을 지원 PEP 기능은 SP_OPO_DEPENCY_CHECK 매개변수로 제어됨  최상의 결과를 얻으려면 SP_OCT_MIN_SESITES를 대상 시스템에 있는 CPU 코어 수 이상으로 설정 2. set param SP_OCT_REPLICATE_DDL 3 ## default : 3복제 중인 활성화 된 config 개체에 대해 ALTER, TRUNCATE 작업을 복제하는지 여부를 제어 0 : ALTER 와 TRUNCATE 둘 다 비활성..

SharePlex 2024.05.02

[ORACLE] Datapump

1. 권한 부여SQL> grant EXP_FULL_DATABASE, IMP_FULL_DATABASE to splex; 2. Directory 조회SQL> SELECT * FROM DBA_DIRECTORIES; 3. Directory 생성 및 권한 부여SQL> CREATE DIRECTORY DUMP AS '/u02/splex/var/dump'; # DUMP - 사용하고자 하는 DIRECTORY 이름, '/oracle/dumpfile' - DIRECTORY가 사용할 물리적인 경로SQL> GRANT READ, WRITE ON DIRECTORY DUMP TO SPLEX; # READ 권한 - Import Pump를 수행하기 위해 필요, WRITE 권한 - Export Pump를 수행하기 위해 필요SQL> GRA..

Oracle 2024.04.26

[ORACLE] ORA-00257 archiver error

ORA-00257 에러 발생 아카이브 로그 리스트 확인SQL> archive log listarchive log mode로 운영되고 있으며, 49번째 redo log가 archiving 되어야 하지만, 현재 archive 저장영역(db_recovery_file_dest_size)의 사용량이 100%이기 때문에 archive 되지 못하고 있는 상태 v$log 조회SQL> select * from v$log;1, 2, 3번 redo log 그룹이 공통적으로 아카이빙이 되지 않았음(ARC=NO) db_recovery_file_dest_size 확인SQL> show parameter db_recovery_file_dest_size; Archive Log 삭제# rman targ..

Oracle 2024.04.24

[Oracle Linux 8.6] Oracle 19c Real Application Cluster 설치(7)

7. 데이터베이스 생성 7-1. 데이터베이스 생성 A) DBCA 실행 -- DBCA 실행 # dbca B) 데이터베이스 작업 선택 C) 데이터베이스 생성 모드 선택 D) 데이터베이스 배치 유형 선택 E) 노드의 선택 목록 F) 데이터베이스 식별 세부 정보 지정 G) 데이터베이스 저장 영역 옵션 선택 H) 빠른 복구 옵션 선택 I) Oracle Database Vault 구성 옵션 선택 J) 구성 옵션 지정 K) 관리 옵션 지정 L) 데이터베이스 사용자 인증서 지정 M) 데이터베이스 생성 옵션 선택 N) 필요 조건 검사 수행 O) 요약 P) 진행 페이지 Q) 완료 R) 결과 확인 -- 데이터베이스 생성 결과 확인 # crsctl stat res -t

Oracle 2024.04.02

[Oracle Linux 8.6] Oracle 19c Real Application Cluster 설치(6)

6. Database 소프트웨어 설치 6-1. 준비 작업 A) 설치 파일 압축 해제 -- 설치 경로 생성 및 설치 파일 압축 해제 # mkdir -p $DB_HOME # unzip /media/LINUX.X64_193000_db_home.zip -d $DB_HOME 6-2. Database 소프트웨어 설치 -- runInstaller 실행 # cd $DB_HOME # ./runInstaller A) 구성 옵션 선택 B) 데이터베이스 설치 옵션 선택 C) 노드의 선택 목록 D) 데이터베이스 버전 선택 E) 설치 위치 지정 F) 권한이 부여된 운영 체제 그룹 G) 루트 스크립트 실행 구성 H) 필요 조건 검사 수행 I) 요약 J) 제품 설치 K) 완료

Oracle 2024.04.02