sjmin

Azure 환경에서 Snowflake를 Private Link로 구성하고, Azure Blob Storage와 안전하게 데이터를 연동하는 방법에 대해서 알아보겠습니다. [아키텍처 개요]Cloud Provider : Microsoft Azure (Korea Central) Data Platform : Snowflake (Enterprise Edition) Network : Public Access 차단, Azure Private Link를 통한 폐쇄망 구성 Storage : Azure Blob Storage (데이터 적재용) Part 1. Snowflake - Azure Private Link 구성Snowflake와 Azure 간의 Private Link 구성은 Handshake -> Endpoint -..

9월 9일에 진행되었던 Snowflake World Tour Seoul 2025에 참석한 후기를 작성합니다. 듣고 싶은 여러 세션들이 있었지만, 동시에 진행되어 몇 가지 선택해서 듣고온 5가지 세션들에 대해서 듣고온 내용 공유합니다. 1. 데이터 파이프라인Snowflake SE분들이 발표해주신 세션의 핵심은 'Zero Ops'였습니다. 데이터 엔지니어가 서버 튜닝, 인프라 관리 같은 운영 부담에서 벗어나, 진짜 비즈니스 가치를 만드는 로직 개발에만 집중해야 한다는 뜻입니다. SQL 사용자: Dynamic Tables 라는 기능을 통해 최종적으로 원하는 모양의 데이터를 SQL로 선언만 하면, 중간 데이터 흐름과 업데이트 관리는 Snowflake가 전부 알아서 처리합니다.Python 사용자: Snowpar..

MSSQL의 데이터를 Snowflake로 실시간 동기화를 구축할 수 있는 방법을 공유합니다.MSSQL의 변경 데이터를 실시간으로 Snowflake에 반영할 수 있는가?기존 파이프라인보다 더 빠른 성능을 보여줄 수 있는가?데이터를 다른 계정(Snowflake)과 간편하게 공유할 수 있는가? 1. 아키텍처: AWS DMS와 Snowflake의 조합저희는 "MSSQL → S3 → Snowflake"로 이어지는 실시간 CDC(Change Data Capture) 파이프라인을 구축했습니다. 전체 흐름은 4단계로 자동화됩니다.1단계: 변경 데이터 캡처 (AWS DMS)먼저, 운영 DB인 MSSQL에서 발생하는 모든 INSERT, UPDATE, DELETE 이벤트를 AWS DMS(Database Migration S..

Snowflake의 컨테이너 런타임(SPCS) 기반 노트북은 AI/ML 워크로드를 위해 강력한 CPU/GPU 리소스에 접근할 수 있게 해주는 훌륭한 기능입니다. 하지만 표준 노트북 환경과 달리, 이 컨테이너 환경에서 Python 패키지를 설치하는 것은 몇 가지 독특한 제약 사항과 절차를 따릅니다. 컨테이너 노트북에서 패키지를 설치할 때 겪을 수 있는 오류와 그 해결 과정을 공유합니다. ML 모델링을 위해 numpy와 snowflake-ml-python을 설치중 오류 발생ML 모델을 만들기 위해 컨테이너 런타임 노트북을 생성 후 ML에 필요한 numpy, pandas, scikit_learn, snowflake-ml-python 등의 .whl 파일을 Snowflake Stage에 업로드한 뒤, 'Stag..

1. IAM 역할 생성S3의 데이터를 접근하기 위한 AmazonS3FullAccess, Glue 서비스를 위한 AWSGlueServiceRole, 보안 암호를 위한 SecretsManagerReadWrite 권한을 가진 역할을 생성합니다.  2. S3 bucket 생성 및 데이터 업로드S3 버킷을 생성하고, 그 버킷에 데이터를 업로드합니다.  3. Glue Database/Table 생성  4. Glue Crawler 생성Crawler 생성이 완료되었다면, Run crawler 버튼을 통해 크롤러를 실행합니다. 크롤러 실행이 완료되었다면, Data Catalog가 생성되었습니다.  5. AWS Secrets Manager 보안 암호 생성값에 Snowflake의 User, Password, Warehous..

1. config 파일에 복제 대상 추가2. Post 프로세스 중지sp_ctrl> stop postPost 프로세스를 먼저 중지시켜 Target에 적용되지 않도록 합니다.3. Activate config sp_ctrl> activate config 복제 대상이 추가된 config 파일을 활성화 시킵니다. Post 프로세스가 중지되었기 때문에 데이터가 Post Queue에 쌓이게 됩니다.  Post 프로세스를 중지시키지 않으면 Out of sync가 발생합니다.4. 초기적재를 위한 SCN 확인SQL> select current_scn from v$database;확인한 SCN 부터 초기적재를 하기 위함입니다.5. 초기적재Datapump를 활용하여 초기적재를 시작합니다. (Target에 테이블 생성됨)  4..

1. sp_로 시작하는 프로세스 검색splex@source:/splex/prod/bin]$ ps -ef | grep sp_splex    13532     1  0 16:22 ?        00:00:10 /splex/prod/.app-modules/sp_ordr -u2100 splex    13542     1  0 16:23 ?        00:00:01 /splex/prod/.app-modules/sp_xport -u2100 splex    20863 14695  0 17:45 pts/1    00:00:00 grep --color=auto sp_ 2. 없어지지 않은 프로세스 죽이기 splex@source:/splex/prod/bin]$ kill -9 13532 135423. splex ipc ..

1. set param SP_OCT_MIN_SESSIONS 8  ## default : 8동시 트랜잭션의 데이터를 포함하도록 유지하는 최소 하위 대기열 수를 제어 Post 프로세스가 자체 동시성을 높일 수 있도록 하여 PEP(Post Enhanced Performance) 기능을 지원 PEP 기능은 SP_OPO_DEPENCY_CHECK 매개변수로 제어됨  최상의 결과를 얻으려면 SP_OCT_MIN_SESITES를 대상 시스템에 있는 CPU 코어 수 이상으로 설정 2. set param SP_OCT_REPLICATE_DDL 3 ## default : 3복제 중인 활성화 된 config 개체에 대해 ALTER, TRUNCATE 작업을 복제하는지 여부를 제어 0 : ALTER 와 TRUNCATE 둘 다 비활성..

OCIStmtExecute: Oracle error ORA-65048: error encountered when processing the current DDL statement in pluggable database PDB ORA-01031: insufficient privilegesSQL> grant sysdba to splex container=ALL

1. 권한 부여SQL> grant EXP_FULL_DATABASE, IMP_FULL_DATABASE to splex; 2. Directory 조회SQL> SELECT * FROM DBA_DIRECTORIES; 3. Directory 생성 및 권한 부여SQL> CREATE DIRECTORY DUMP AS '/u02/splex/var/dump'; # DUMP - 사용하고자 하는 DIRECTORY 이름, '/oracle/dumpfile' - DIRECTORY가 사용할 물리적인 경로SQL> GRANT READ, WRITE ON DIRECTORY DUMP TO SPLEX; # READ 권한 - Import Pump를 수행하기 위해 필요, WRITE 권한 - Export Pump를 수행하기 위해 필요SQL> GRA..