데이터엔지니어 군고구마
반응형
방명록
[ GCP/BigQuery ]
big query 비용을 줄이기 위한 전략
2020-03-04 16:28:39
안녕하세요. big query에서 파티션 컬럼을 사용하여 불필요한 부분을 읽지 않고 데이터를 가져옴으로써 비용과 성능을 최적화하는 부분은 많은 분들이 알고 계실 듯합니다. 위와 같이 파티션 컬럼을 이용할 경우 많은 이점을 가질 수 있지만 그렇게 하지 못하는 경우가 존재할 수 있습니다. 만약에 테이블에 날짜 컬럼이 여러 가지인데, 사용하고자 하는 날짜 컬럼이 파티션 되지 않은 경우가 다음과 같은 경우입니다. big query에서는 일반 RDB처럼 여러 개의 인덱스(파티션 칼럼)를 제공하지 않습니다. 그렇기 때문에 1개의 파티션 칼럼을 통해서 성능을 향상해야 하는데요. 이 경우 매우 난감한 상황이 발생합니다. 기준으로 하는 날짜 컬럼으로 값을 가져올 경우 데이터가 맞지 않는데 성능, 비용 때문에 이를 써야 ..
NEW
prev
1
next
반응형
최신버전 안내
현재 적용된 Stroke 스킨의 버전이 최신버전이 아닙니다.
최신버전의 스킨 파일을 다운로드 받을 수 있는 페이지로 이동하시겠습니까?
(* 이 모달창은 블로그 관리자에게만 표시됩니다.)
30일 동안 열지 않음
예
티스토리툴바
데이터엔지니어 군고구마
구독하기