데이터엔지니어 주형권
close
프로필 배경
프로필 로고

데이터엔지니어 주형권

  • 주형권의 포스트 (181)
    • Data Reliability Engineerin.. (1)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (15)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
  • 홈
  • 태그
  • 방명록
반응형
airflow dag의 task를 실행하고 동작하지 않는 현상

airflow dag의 task를 실행하고 동작하지 않는 현상

airflow에서 dag을 만들고 실행을 시켰는데 task는 분명히 뜨고 해당 task도 실행중으로 나오는데, 상태값만 변하고 실행되지 않는 경우가 있습니다. 다음과 같은 경우가 그 현상에 해당 합니다. 아래와 같이 Task의 상태값이 분명히 실행으로 변경되었는데, 아래의 네모칸에 실행중(초록색)으로 변경되지 않습니다. 아무리 기다려도 역시 그대로 입니다. 그래서 어떻게 할지 고민했는데, airflow에서 강제로 "Run"을 시킬 수 있습니다. 강제로 queue에 넣어주는 방법입니다. 가끔씩 should가 느리게 동작해서 반응이 없을 경우가 있는데 이렇게 강제로 Run을 시켜서 동작 시키는 경우가 많기 때문에 같은 증상으로 보고 똑같이 실행해 봤습니다. 다음과 같이 강제로 "Run"으로 변경 해봤습니다...

  • format_list_bulleted Data pipeline/Airflow
  • · 2020. 11. 3.
  • textsms
반응형
  • navigate_before
  • 1
  • navigate_next
전체 방문자
오늘
어제
전체
전체 카테고리
  • 주형권의 포스트 (181)
    • Data Reliability Engineerin.. (1)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (15)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
반응형
최근 글
인기 글
최근 댓글
태그
  • #MSSQL
  • #airflow
  • #BigQuery
  • #데이터브릭스
  • #주형권
  • #databricks
  • #SQL Server
  • #데이터
  • #빅쿼리
  • #데이터엔지니어
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바