BigQuery - 테이블에서 스키마 추출

BigQuery의 다수의 테이블의 스키마를 Json으로 봐야 하는 작업이 있어서 한 땀 한 땀 열심히 만다가 문득 스키마를 추출해서 파일로 저장할 수 없을까?라는 생각이 들어서 찾아봤습니다. 

 

🙋‍♂️ 들어가며

일단 해당 기능을 사용하기 위해서는 bq가 있어야 합니다.

bq 설치는 아래를 참고해 주세요. 👇👇👇👇

https://cloud.google.com/bigquery/docs/bq-command-line-tool?hl=ko 

bq 명령줄 도구 사용  |  BigQuery  |  Google Cloud

 

그리고 스키마 다운로드 관련 공식 문서를 참고하여 보시면 좋습니다. 👇👇👇👇

https://cloud.google.com/bigquery/docs/schemas

스키마 지정  |  BigQuery  |  Google Cloud

 

공식 문서에서 해당하는 부분의 명령어는 다음과 같습니다.

bq show \ --schema \ --format=prettyjson \ project_id:dataset.table > path_to_file

cs

 

가장 아래 부분에 본인이 다운로드 할 테이블의 스키마를 입력해주고, > 다음으로 파일을 다운로드할 위치를 지정하면 됩니다.

 

💁‍♂️ 실제 테스트

실제로 테스트를 하기 위해서 테이블을 한개 만듭니다.

CREATE TABLE `temp_jeff.schema_export` ( ts TIMESTAMP, id INT64, name STRING ) Colored by Color Scripter

cs

 

위와 같이 테이블을 만들고 다음의 명령를 실행하여 테이블의 스키마를 추출합니다.

스키마 추출

 

스키마가 잘 추출되었습니다.

다음과 같이 확인이 가능합니다.

추출 된 스키마

 

이 밖에도 csv 형태도 제공합니다.

하지만 제일 편한 건 역시... json 인 것 같습니다.

 

 

🙇‍♂️ 출처 

https://stackoverflow.com/questions/43195143/is-there-a-way-to-export-a-bigquery-tables-schema-as-json

Is there a way to export a BigQuery table's schema as JSON?