[Databricks] DELTA_DELETION_VECTOR_SIZE_MISMATCH

 

안녕하세요. 주형권입니다. 

이번에 아주 커다란(?) 장애를 겪고 글을 작성하였습니다. Databricks를 쓰면서 처음 겪는 장애였고, 무엇보다 관련 자료가 전무한 상황이라서 굉장히 해결에 어려움을 겪었습니다. 결론부터 말씀 드리면 Databricks의 버그입니다. 결국 CASE를 열어서 본사의 Back-end 엔지니어가 장애를 해결해줬습니다.

---

⚠️ 문제 발견 

저희는 DELETE를 하는 작업이 있습니다. 그런데 어느 날 다음의 ERROR가 나오면서 DELETE가 실패하는 증상이 나타났습니다.  메시지는 다음과 같습니다.

[DELTA_DELETION_VECTOR_SIZE_MISMATCH] 
Deletion vector integrity check failed. Encountered a size mismatch.

 

일단 본능적으로 구글링을 하였고, 여러 가지 조치가 있었으며, Databricks에서 제공하는 AI에게도 문제에 대해서 물어봤습니다. 결국은 REFRESH TABLE을 하라는 이야기였고, 실행 후 다시 DELETE를 실행하였으나 똑같은 문제로 동작하지 않았습니다. 

 

---

 

🛠️ 증상 

증상을 나열하면 다음과 같습니다. 가능한 것도 있고 안 되는 것도 있었습니다. 또한 일부만 되는 것도 있었습니다.

 

⛔ DELETE 불가능 
⚠️ SELECT는 가능 하지만 일부만 가능 (Limit 100과 같은...)
⛔ OPTIMIZE 불가능
✅ INSERT 가능 
✅ vacuum 가능

 

그리고 ERROR 메시지에서 다음과 같이 파일을 읽는데 문제가 있다는 내용도 있어서 해당 파일을 찾아서 다운로드 후 직접 읽어 보았으나 문제가 전혀 없었습니다. 결론적으로 파일의 문제는 아닌 것으로 보였습니다.

 

---

💡 결론 

결론적으로 해결이 불가능한 문제였습니다. Databricks에서 버그라고 인정했고, 수정해준 뒤에 모두 정상적으로 동작하는 것을 확인하였습니다. 결국은 3~4일 정도 삽질 하다가 CASE를 열었는데, 바로 버그라고 해서 조금... 맥이 빠졌습니다. 그래서 구글링이나 문서가 딱히 없는 경우는 고민하지 마시고 CASE를 오픈하는 것도 좋은 방법으로 보입니다.