데이터 엔지니어를 준비하거나 이제 막 시작 하는 분들에게

데이터

 

안녕하세요.

데이터 엔지니어 주형권입니다.

 

오늘은 보편적인(?) 이야기를 하려고 합니다. 데이터 엔지니어를 준비하시거나 데이터 엔지니어를 이제 막 시작하신 분들에게 드리는 이야기입니다. 데이터 엔지니어를 시작하려고 하거나 시작했을 때 많은 사람들이 느끼는 이질감과 내가 생각했던 일이 아닌데?라고 생각 하는 분들이 많이들 계실 거 같아서, 10년 넘은 경력자의 입장에서 말씀드리고자 합니다. 실제 경력자분들은 공감되는 내용도 있고 공감이 가지 않는 내용도 있을 수 있으니 재미로 봐주시면 좋겠습니다. 

---

1. 데이터 엔지니어는 노가다다

삽질

 

데이터 엔지니어를 시작하실 때 많은 학원과 많은 언론에서 고액 연봉과 미래에 유망한 직업이며 많은 사람들의 선망의 대상이라고 광고합니다. 화려한 모습만을 내세우며 많은 사람들에게 매력적인 직업으로 다가옵니다. 고액의 연봉을 받으며 스마트한 일처리와 데이터를 처리하는 자신의 모습을 그리는 사람들이 많습니다. 

 

하지만 데이터가 예쁘게(?) 들어오는 경우는 거의 없으며 대부분의 경우 데이터를 정재하는 작업을 해야 하며 데이터를 심어주는 사람들과의 이야기는 매끄럽게 흘러가진 않습니다. 왜냐면 각자의 입장이 있고 각자의 사정이 있기 때문에 데이터는 내가 생각하는 것처럼 예쁘게 들어오지 않습니다. 대부분 데이터 정재 작업을 해줘야 하며 알 수 없는 데이터가 들어오거나 (심지어 만든 사람도 모르는) 이상하게 들어오는 경우가 아주 많습니다.

 

그럼 이걸 엄청나게 스마트하게 코드를 이용해서 검증하고 알고리즘을 만들고 멋있게 찾아서 빠르게 해결하는 경우는 생각보다 잘 없습니다. 데이터를 하다 보면 자연스레 오픈소스를 많이 사용하는데 생각보다 로그는 친절하지 않습니다. 심지어 상용으로 판매하는 여러 가지 설루션도 로그가 친절하지 않습니다. 

 

이럴 때 하나씩 보면서 찾아야 하는 경우도 있고 여러 가지 테스트를 하면서 경우수를 하나씩 봐야 하는 경우가 많습니다. 데이터는 대부분 여러분이 생각하는 것처럼 예쁘지 않습니다. 그리고 이것을 정재하여 적재하는 작업 또한 데이터 엔지니어의 주요 업무 중에 하나입니다. 그렇기에 여러분은 굉장히 비효율적이라고 느끼는 방식으로 데이터를 모두 찾아보고 검증하는 과정을 여러 번 경험할 수 있습니다. 

---

2. 잘해도 본전

여러 부서가 지켜보고 있다.

 

데이터 엔지니어는 데이터를 제공함으로써 회사에서 중요한 포지션입니다. 하지만 대부분 가장 기초적인 작업을 맡으며 데이터의 수집과 정재 적재등을 하다 보니 데이터를 사용하는 사람들은 대부분 데이터 엔지니어가 무엇을 하는지 잘 알지 못합니다. 실제로 회의에서 "그냥 저쪽에서 이쪽으로 옮기는 거 아니에요?"라는 소리는 정말 많이 듣습니다.  단순히 몇백 몇천 건을 ETL 하면서 뭐 대수라고 생각하는 사람도 굉장히 많습니다. 

 

그렇기 때문에 데이터가 틀어지거나 데이터가 늦게 적재되는 현상이 있으면 많이 욕을 먹기도 합니다. (실제론 앞에서 대놓고 먹진 않지만...) 예전에 일본 어느 은행에서 모든 업무를 전산화하고 전산 시스템이 잘 돌아가니 모든 서버관리자를 해고했다는 이야기를 들었는데, 데이터 엔지니어도 비슷하게 뒤에서 움직이다 보니 무언가 문제가 안 생기면 뭐 하는 사람들이지? 하는 사람도 많이 있습니다. 

 

이건 IT 공통인듯..?

---

3. 알아야 하는 범위가 굉장히 넓다

많은걸 잘해야해요..

 

데이터 엔지니어는 주로 코딩, SQL, 분산처리 등등 여러 가지 다양한 기술을 구사해야 합니다. 여기에 최근에는 클라우드 및 오픈소스 운용 능력 여러가지 스케줄링 관련 (Airflow 등) 엄청나게 많은 영역을 알아야 합니다. 요즘은 모든 직업이 비슷하겠지만 데이터 엔지니어는 특히나 그런 거 같습니다. 회사에서 요구하는 스킬 셋이 모두 다르고 회사에 상황에 맞게 다른 스킬을 구사하기 때문에 알아야 하는 지식의 범위가 굉장히 넓습니다.

 

그리고 비 IT 적인 지식도 있어야 합니다. 데이터를 쓰는 사람들의 범위가 한정적이지 않기 때문에 기획팀, 마케팅팀등 여러 비 IT 부서와도 일을 하는 경우가 굉장히 많습니다. 그래서 그분들과 소통을 위해서 약간의 그러한 업무적인 용어나 지식을 요구받는 경우도 있습니다. 저 같은 경우 CRM 설루션 도입을 위해서 제가 직접 업체와 소통하며 데이터를 확인하고 연동해 주면서 여러 가지를 어쩔 수 없이(?) 배우는 경우도 있었습니다.

 

---

4. 그럼에도...

 

흐뭇

 

그럼에도 많은 사람들과 이야기하고 데이터 적재나 정재에 스트레스받아도 저는 이 직업이 꽤나 매력적이라고 생각합니다. 특히나 사람들이 내가 만든 데이터를 쓰고 보람을 느끼는 것을 보면 굉장히 흐뭇합니다. 제가 만들어준 데이터 환경에서 데이터를 활용하여 의사결정을 하고 데이터를 활용하여 다음 계획을 만드는 것을 보면 절로 미소가 나옵니다. 

 

그렇기에 이 직업은 수많은 단점(?)이 있지만 장점이 있는 거 같습니다.