데이터엔지니어 군고구마
반응형
방명록
[ Data pipeline/Embulk ]
Embulk 테스트 하면서 정리 한 글
2019-03-13 17:54:38
이 테스트 시나리오는 sql-server to sql-server입니다. 다른 시나리오와 맞지 않을 수 있으니 꼭 참고 부탁 드립니다. Ⅰ. Embulk 프로세스 1. Embulk를 실행 시 적용된 쿼리를 읽어서 하나의 Transaction으로 만듭니다.2. 생성 된 Transaction을 각각의 task로 쪼개는 작업을 합니다.이때 테이블이 Thread 개수에 맞게 생성되는 것을 볼 수 있습니다.3. 해당 Thread 개수 만큼의 테이블을 생성하여, 각각 테이블에 parallel 처리로 데이터를 Insert 시킵니다.4. Temp Table에 데이터를 모두 넣으면 이것을 모두 Union 하여, 최종 목적지 테이블에 insert into 시킵니다. 위에 프로세스를 보면 CPU 성능이 매우 중요합니다. 그..
NEW
prev
1
next
반응형
최신버전 안내
현재 적용된 Stroke 스킨의 버전이 최신버전이 아닙니다.
최신버전의 스킨 파일을 다운로드 받을 수 있는 페이지로 이동하시겠습니까?
(* 이 모달창은 블로그 관리자에게만 표시됩니다.)
30일 동안 열지 않음
예
티스토리툴바
데이터엔지니어 군고구마
구독하기