Airflow를 세팅하고 CPU를 보면 아무것도 하지 않고 있는데, CPU를 40~50% 정도 점유하는 경우가 있습니다. 하지만 이는 몇 가지 옵션만 변경한다면 쉽게 CPU 점유율을 낮출 수 있습니다. 또한 운영상에 큰 지장이 없습니다. 저의 경우 GCP 위에서 docker를 통해서 airflow를 운영하고 있으며, 옵션은 worker,scheduler,webserver 이렇게 3개의 컨테이너에 적용하였습니다. 모두 동일하게 적용하였습니다. 1 2 3 4 5 6 7 8 9 10 11 # The scheduler constantly tries to trigger new tasks (look at the # scheduler section in the docs for more information). Thi..

글을 읽기에 앞서 해당 코드는 python 및 개발 지식이 없는 제가 직접 만든 코드 입니다. 개발자 분이 보시기에 많이 이상 할 수 있습니다. 최적화가 되어 있지 않으며, 코드를 보기에 불편 할 수 있는 점 양해 부탁 드립니다. 1. 수집 조건 Cloud Watch 상에서 하루 평균 CPU가 10%를 넘지 못하는 경우 수집 limit를 조정 가능 합니다. 코드를 수정하면 MAX / MIN으로도 수정 가능 합니다. spot EC2를 수집 하지 않습니다. 2. 수집 내역 아래의 컬럼명은 수정이 가능하며, 기호에 맞게 사용 부탁 드립니다. 계속해서 수정하다 보니 수집하는 명칭이 이상할 수 있습니다. account : AWS 계정명 isinstance_id : EC2의 Instance ID InstanceTy..