데이터 엔지니어인 내가 새롭게 입사 하는 회사에서 하는 것
들어가며
안녕하세요. 주형권입니다. 오늘은 저연차 주니어 분들에게 도움이 될 것 같은(?) 글을 작성하려고 합니다.
제가 주니어 시절에 많은 시니어 분들께서 강조하셨고 가르쳐 주셨던 내용을 여러분께 정리하여 공유 드리고자 합니다.
저의 링크드인을 보면 아시겠지만 저는 이직을 꽤 여러번 하였습니다.
물론 자의가 아닌 타의(회사가 망...)로 회사를 옮긴적도 여러 번 있지만 이직을 여러 번 경험 한 저에게는 한 가지 습관이 있습니다.
누구나 자신만의 업무 스타일이 있고, 연차가 오래될수록 그 업무 스타일은 습관으로 굳어지는 것 같습니다.
여러가지 업무 스타일이 있지만 유독 이 부분은 제가 강점이라고 생각합니다. 누군가에게는 별것 아니라고 들을 수 있지만 제가 여러 회사를 옮기면서 느꼈지만 별게 맞습니다. 왜냐면 항상 가면 이건 제가 했거든요... 그동안 잘 된 회사를 거의 본 적이 없습니다.
첫 번째, 정리(문서화)
그 별것 아닌 것 중에 하나인 정리입니다. 이 정리에는 수많은 것들이 존재합니다. 문서가 있을 수 있고 현재의 시스템에 대한 정리가 있을 수 있고 현재 시스템의 현황이나 아키텍처등의 수많은 부분이 있을 수 있습니다. 저 같은 경우 입사 후 즉시 전체적인 시스템의 아키텍처를 보고 업무를 파악하고 현재의 시스템의 전체적인 흐름을 알고자 합니다.
그래야지 어떻게 현재 시스템이 돌아가는지 알 수 있고, 빠르게 파악하여 어떻게하면 자동화하고 효율화를 할 수 있을지 고민합니다. 정리가 되고 전체적인 아키텍처를 알아야지 빠르게 파악이 가능하다고 생각하기 때문입니다. 많은 사람들이 문서화를 굉장히 소흘히하고 귀찮아하는 경향이 있는데, 업무를 할 때는 항상 나 혼자가 아닌 여러 사람과 함께 한다는 생각으로 내가 하였던 업무에 대해서 정리하는 공유하는 습관이 굉장히 중요하다고 생각합니다.
고작 문서 몇개와 아키텍처 몇개으로 무엇이 달라지나? 할 수 있겠지만 처음에 1~2개가 10~20개 나아가 100~200개가 될 수 있습니다. 이렇게 쌓이고 쌓인 문서와 아키텍처가 나중에 히스토리를 파악하는데 굉장히 도움이 됩니다. 나중에 내가 수많은 일을 하다 보면 나조차도 기존의 업무를 까먹는 경우가 있습니다. 이럴 때 잘 정돈된 문서와 아키텍처가 있다면 본인의 업무 성과를 어필할 수도 있고 더불어 남에게 2번 3번씩 설명할게 아니고, 링크를 공유해 줄 수 있습니다.
결국 정리 잘해두면 본인이 가장 편하고 나중에 연말 평가등에서 본인이 성과를 정말 상세하게 어필이 가능 합니다. 본인의 성과를 어필하려면 정돈된 무언가가 필요한데, 이때 이것을 사용하면 굉장히 어필이 됩니다.
두 번째, 모니터링 구축
두 번째는 모니터링 구축입니다. 모니터링에 구축에 관해서 자세한 내용이 궁금하신 분은 이 단원의 아래의 링크를 참고해도 좋을 것 같습니다. 저는 문서화 및 아키텍처를 어느 정도 파악하면 어느 부분을 효율적으로 모니터링할 수 있을지 고민합니다. 문서화를 통해서 현재의 시스템과 아키텍처를 정리하면 이 부분을 굉장히 효율적이고 빠르게 파악이 가능합니다.
그리고 모니터링을 구축하면 내가 수동으로 처리하던 많은 업무들을 자동으로 바꿀 수 있습니다. 비용이 많이 나오는 부분을 손쉽게 파악하거나 너무 많은 사용량이 나오거나 비효율적인 Query를 찾거나 정상적으로 데이터가 적재되었는지 또는 언제 적재 되었는지 등등의 여러 가지 내용을 한눈에 볼 수 있기 때문에 기존에 시간이 오래 걸리는 일이 굉장히 빠르게 처리가 가능합니다.
추가적으로 기존에 파악하기 못하였던 잘못 된 부분을 발견하거나 기존에 다른 원인으로 알고 있었던 내용이 새롭게 발견되어 여러 가지 비용 및 프로세스에 효율성을 증대시킬 수 있습니다.
GS리테일 모니터링 시스템 도입기
[DataLake] 데이터레이크 운영 시스템 도입기
안녕하세요. 주형권입니다. 2023년 6월 30일 기준으로 어느덧 GS리테일에 입사한 지 2달을 넘었습니다. 현재 잘 적응하고 있으며 입사 이후에 정말 많은 것들을 만들고 있습니다. 이번 글은 그 첫
burning-dba.tistory.com
SOCAR BigQuery 사용량 모니터링 도입기
[BigQuery] 운영 2탄 / Query 사용량 관리하기
안녕하세요. 지난번의 BigQuery 운영 1탄 편이었던 불필요한 Dataset 삭제 이후에 2탄 BigQuery 사용량 관리에 대해서 글을 작성하였습니다. 어찌 보면 이 글이 1탄보다 훨씬 더 유용할 것으로 보입니다.
burning-dba.tistory.com
SOCAR RDBMS 적재 정합성 체크 모니터링
RDBMS 데이터 적재 시 데이터 정합성 체크
💁♂️ 들어가며 데이터를 적재하면서 가장 중요한 것은 무엇일까요? 여러가지 이유가 있겠지만 무엇보다 그 데이터가 정상적으로 잘 적재되었는지 여부 입니다. 많은 사람들이 적재를 어떻
burning-dba.tistory.com
세번째, 자동화
첫 번째, 두 번째 내용을 잘 준비했다면, 업무의 파악이 빠르게 될 뿐 아니라 자동화에 대해서 고민할 수 있습니다. 전체적인 아키텍처를 파악이 가능하기 때문에 어느 부분에서 무엇을 효율적으로 개선이 가능 한지 빠르게 파악이 가능합니다. 자동화를 통해서 기존에 수동으로 하여 시간이 많이 소요되었던 부분을 빠르게 알아서 진행하도록 할 수 있고, 그 남는 시간에 조금 더 생산성 있는 업무를 할 수 있습니다.
이렇게 한번 시스템이 갖춰지면 그 이후부터는 어디에? 무엇을? 어떻게? 이러한 고민을 엄청 많이 할 수 있습니다. 하다보면 회색 영역을 하나씩 없애 나가는 것들도 재미있고, 새로운 기술이나 새로운 아키텍처를 구상해서 비용을 줄이고, 더욱 좋은 시스템으로 개선도 할 수 있습니다. IT를 하면서 가장 좋은 게 우리는 우리가 할 일을 컴퓨터가 대신하게 만들 수 있다는 것 같습니다. (이것이 자동화다...)
자동화에는 여러가지가 있는데 저 같은 경우 우선 모니터링에 대한 자동화를 많이 합니다. 예를 들면 파이프라인이 정상적으로 돌지 않았을 경우 체크해서 모바일기기로 보내준다거나 우리가 사용하는 Slack이나 Teams 등으로 보내주는 등의 여러 가지 모니터링 자동화를 합니다. 이와 더불어 실패 시 몇 분 몇 시간 이후에 재시작하게 해 준다거나 이러한 자동화를 만들 수도 있습니다.
마치며
자의든 타의든 이직을 많이 한 저에게는 여러 회사를 경험하면서 쌓인 노하우를 바탕으로 글을 작성하였습니다. 이 부분에 대해서 많은 분들에게 공유가되어서 많은 분들에게 도움이 되었으면 하는 마음이 있고, 좋은 환경에서 일할 수 있기를 바랍니다. 이밖에도 본인들의 노하우가 있으시다면 댓글로 공유해서 많은 주니어 분들에게 귀감이 되도록 도움을 부탁드립니다.