데이터엔지니어 군고구마
close
프로필 배경
프로필 로고

데이터엔지니어 군고구마

  • 주형권의 포스트 (177)
    • 공통 (10)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (14)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
  • 홈
  • 태그
  • 방명록
반응형
[Redshift] error: Spectrum Scan Error code: 15007

[Redshift] error: Spectrum Scan Error code: 15007

안녕하세요. 주형권입니다. Redshift에 관련하여 오랜만에 글을 작성하는거 같습니다. 최근 입사한 회사에서 Redshift를 사용하려고 하고 있어서 여러가지 테스트를 하는 와중에 오류를 발견하고 해결하는 과정에서 여러가지 삽질(?)을 경험하고 쉽게 해결하는 방법을 찾아서 공츄 차원에서 글을 작성 하였습니다. 🤔 무엇을 하려고 하였는가? Redshift의 COPY를 이용하여 S3에 Parquet 형태로 저장된 데이터를 Redshift 테이블에 입력하고자 하였습니다. COPY의 경우 테이블을 만들면서 들어가는 경우는 지원하지 않는것 같고 이미 있는 테이블에 INSERT만 지원하는 것으로 보였습니다. 그래서 최초에 테이블을 만들어줘야 하는데요. Glue 카탈로그를 이용하여 Athena에 있는 데이터의 DD..

  • format_list_bulleted AWS/Redshift
  • · 2023. 5. 16.
  • textsms
반응형
  • navigate_before
  • 1
  • navigate_next
전체 방문자
오늘
어제
전체
전체 카테고리
  • 주형권의 포스트 (177)
    • 공통 (10)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (14)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
반응형
최근 글
인기 글
최근 댓글
태그
  • #BigQuery
  • #databricks
  • #빅쿼리
  • #데이터브릭스
  • #airflow
  • #주형권
  • #데이터엔지니어
  • #SQL Server
  • #MySQL
  • #MSSQL
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바