데이터엔지니어 주형권
close
프로필 배경
프로필 로고

데이터엔지니어 주형권

  • 주형권의 포스트 (181)
    • Data Reliability Engineerin.. (1)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (15)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
  • 홈
  • 태그
  • 방명록
반응형
BigQuery - 운영 1탄 / 불필요한 dataset 삭제

BigQuery - 운영 1탄 / 불필요한 dataset 삭제

안녕하세요. 제가 아무래도 DBA로 시작해서 그런지 자연스럽게 성향이 운영을 당연시합니다. 모니터링을 데이터를 기반으로 비용 절감과 고효율을 만들기 위해서 여러 가지 방법으로 고민을 합니다. 최근 트랜드에서 아쉬운 부분이 있다면, 많은 회사들은 개발을 빠르게 하기에 초점을 맞추다 보니 운영을 뒷전인 경우가 굉장히 많은 것 같습니다. 운영을 신경 쓰지 않으면 결국 시스템은 터지기 마련입니다. 그렇기에 이번에는 BigQuery에서 몇 가지 운영 관련한 내용을 정리하여 글을 쓰고자 합니다. 1. Dataset 왜 지우려고 하는가? BigQuery는 Dataset의 저장 비용이 매우 저렴합니다. 제가 생각하기에 BigQuery의 비용은 저장비용보다는 검색(SELECT)비용이 대부분이라고 봅니다. 다음의 내용을 ..

  • format_list_bulleted GCP/BigQuery
  • · 2021. 11. 10.
  • textsms
반응형
  • navigate_before
  • 1
  • navigate_next
전체 방문자
오늘
어제
전체
전체 카테고리
  • 주형권의 포스트 (181)
    • Data Reliability Engineerin.. (1)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (15)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
반응형
최근 글
인기 글
최근 댓글
태그
  • #airflow
  • #주형권
  • #빅쿼리
  • #데이터브릭스
  • #databricks
  • #MSSQL
  • #SQL Server
  • #데이터
  • #데이터엔지니어
  • #BigQuery
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바