데이터엔지니어 군고구마
저 같은 바보가 있지 않기를 바라며 짧은 글 올립니다. 다음과 같이 오류가 계속 해서 RDS에서 발생하여, INSERT / UPDATE / DELETE 가 안되는 상황이 발생하였습니다.create table joo ( col1 int )Error Code: 1290. The MySQL server is running with the --read-only option so it cannot execute this statement 구글에서 몇가지 찾아보았는데요.PK가 없다거나, "SET GLOBAL read_only = ON; " 옵션을 꺼야한다거나 많은 내용이 있었는데요. 참 바보같은 이유였습니다.바로 재부팅을 해서 마스터 슬레이브가 바뀐거였습니다. 자동으로 failover 처리하여, 바뀐거였습니다.기본..
결론부터 말씀드리면, 대용량의 bucket을 삭제할 때는 만료정책을 1일로 걸어서 파일을 모두 삭제 한 이후에 bucket을 삭제하는 방법이 가장 좋습니다. (AWS에서도 이 방법을 추천하였습니다.) 얼마 전에 2000TB의 대용량 Bucket을 삭제하다가 삭제가 원활하지 못하여, 곤란한 적이 있었습니다. 파일의 개수도 대략 2천만개 이상이여서 엄청나게 삭제 시간이 오래 걸렸습니다. 삭제를 시도한 방법은 2가지 입니다. AWS Console S3 Browser 삭제를 시도하면서 발견한 내용은 다음과 같습니다. 1. 지울때 1,000건씩 지워지는 것으로 보입니다. ( object ) 2. console / S3 Browser에서 Bucket을 삭제 할 경우 console / S3 Browser가 종료될 경..
이 포스틑 AWS EFS의 공식 문서를 대부분 가져왔습니다. 단, 중간중간에 하다가 막힌 부분에 대해서 추가적으로 설명만 넣어놨습니다. Amazon EFS는 Amazon EC2에서 사용할 수 있는 확장 가능한 파일 스토리지를 제공합니다. EFS 파일 시스템을 만든 후 파일 시스템을 마운트하도록 인스턴스를 구성할 수 있습니다. 하나의 EFS 파일 시스템을 여러 인스턴스에서 실행하는 워크로드 및 애플리케이션에 대한 공통 데이터 소스로 사용할 수 있습니다. storage gateway 와 큰 차이가 없어 보입니다.차이점이라면 storage gateway는 EC2를 올려서 그곳에 DISK를 마운트하여, 그 DISK를 바라보게 하는 방식인 반면에 EFS는 단순하게 만들기만 하면 자동으로 할당이 됩니다. 또한 Po..
안녕하세요. 원하는 결과값을 알림으로 받기 위해서는 메일에 예쁘게 테이블 형식으로 보여지게 하는게 필수 입니다.그래서 HTML을 이용하여, 예쁘게 꾸며서 메일로 쏘는 경우가 많은데요. (HTML 만들기 : https://www.red-gate.com/simple-talk/blogs/generating-html-sql-server-queries/ ) 이렇게 보낼때 HTML 로 이쁘게 말아서 보내려고 하면 전부 깨져서 나오거나, HTML 코딩 그대로 나오는 경우가 있습니다.그래서 이리 저리 방법을 찾다가 body를 XML로 만들어서 보내려고 하면 다음의 오류가 납니다.보내지지도 않습니다...ㅡㅡ; 그래서 찾아낸게 바로 이겁니다.exec msdb.dbo.sp_send_dbmail @profile_name = ..
들어가기 앞서 저는 네트워크와 관련한 지식이 전혀 없습니다. AWS 관련하여, 업무를 위해서 급하게 공부를 하였으며 용어 및 내용이 틀릴 수 있는 점을 양해 부탁드립니다.계산법은 다음의 URL의 내용의 문제를 푸는 방법에 대해서 설명 하였습니다. URL : http://www.subnettingquestions.com/ 질문 : subnetwork 172.17.102.0 255.255.254.0 에서 유효한 호스트 마지막 값은 무엇인가? 우선 첫번째로 중요한 부분이 서브넷 마스크 입니다. 위에서 255.255.254.0 은 서브넷 마스크 입니다. 관련하여, 내용은 다음의 URL 을 참조하면 좋습니다. ( URL : http://koreandaeddo.blogspot.kr/2015/12/ip.html ) ..
SQL Server 2016 부터 JSON 형태를 파싱하는 쿼리를 지원합니다. Step 1 - 테이블 생성 - JSON 형태의 문자들을 넣어줄 컬럼이 있는 테이블을 하나 생성 합니다. create table JSON_table ( seqintidentity(1,1) ,reg_datedatetime ,JSONnvarchar(1000) ) go Step 2 - JSON 형태 데이터 넣기- 제가 임의로 만든 JSON형태의 데이터를 1건 넣어 보겠습니다.insert into JSON_table (reg_date,JSON) values (getdate(), '{"UserLevel":1,"Item":[{"id":20030,"type":2,"count":2},{"id":20024,"type":3,"count":4}]..
들어가며SQL Server 2016 부터 파티션 단위로 Truncate가 가능 합니다. 다음의 블로그를 참고하여, 만들었으며 2016 기능을 사용해 보고자 포스트를 작성하였습니다.참고 : https://www.mssqltips.com/sqlservertip/4436/sql-server-2016-truncate-table-with-partitions/ 위의 블로그의 경우 Partition 테이블의 최대 장점이 스트라이프로 데이터를 넣는 것이므로, NDF 파일과 파일그룹을 여러개 생성해서 만들고 있는데요.이 부분은 제외하고, 단순히 파티션만 나눠서 Truncate 하는 부분만 포스팅 하고자 합니다. (기능만 보면 되므로) 제가 알기로 대용량의 DB를 관리 할 경우 테이블을 일자 또는 월별로 쪼개서 각각 파일..
공부 하려고 만들어 본 용어 정리표 잘 안보이시는 분들은 아래의 엑셀 파일 다운로드 해주세요.
MySQL 설치를 하는 중에 모든 설정 및 디렉터리, my.cnf 등을 모두 잘 설정하였는데 mysql system 테이블 설치만 하면... 자꾸 오류가 나는 경우가 있습니다. 오류의 내용은 다음과 같습니다. /usr/local/mysql/bin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory영어 울렁증으로 인하여, 영어를 자세히 읽어 보지 않고 뒤쪽에 ..
안녕하세요. MSSQL 2016 AlwaysON 운영을 하면서 계속해서 운영이슈가 생기고 있습니다. 이번에는 지난 번에 없는 계정을 만드는 스크립트에 이어서, 2번째로 Standby에만 존재하는 로그인 삭제와 Active 서버를 기준으로 패스워드가 다른 로그인에 대해서 만들어봤습니다. 이전의 포스트( http://burning-dba.tistory.com/80 )에서 없는 계정을 만드는 부분을 했었는데, 먼저 읽어보시고 이것을 진행해야 합니다. 이번 포스트에서는 위에서 언급한데로, 2가지 기능을 추가하였습니다. 삭제하는 로그까지 추가하면 3가지가 되겠네요. 삭제 대상 로그인 기록 Active서버에 없고, Standby 서버에 없는 로그인 삭제Active서버와 Standby 서버의 패스워드가 다를 경우 S..
AlwaysOn을 운영하는 도중에 다음과 같은 메시지가 발생하여, 찾아본 내용을 정리하였습니다.오류 메시지는 다음과 같이 나옵니다. 오류 메시지는 다음과 같이 2종류가 함께 발새 합니다. 1번AlwaysOn Availability Groups connection with secondary database established for primary database 'DB명' on the availability replica '인스턴스명' with Replica ID: {d151138c-4a89-4812-8da5-b81cb60b98c8}. This is an informational message only. No user action is required. 2번 DbMgrPartnerCommitPolicy:..
새로운 서버를 받아서, SQL Server를 설치하고, 운영하는 도중에 기술지원을 받는 중에 CPU의 64 Core 중에 40 Core만 사용하고 있는 것을 발견하였습니다.인터넷에 찾아보았는데, 영문자료밖에 있지 않아서, 내용을 가져와 씁니다. 원문 : https://blogs.msdn.microsoft.com/sql_shep/2012/06/21/sql-server-2012-license-core-limitaion/ 이 에디션은 2012부터 나왔으며, 엔터프라이즈에서는 코어를 40개까지 밖에 지원하지 않는다고 합니다. 다음의 내용에 써 있습니다. 왜 이렇게 나눠서, 사용자를 불편하게 한지는 잘모르겠습니다. (아무래도... 라이센스 때문인가?) 확실한 방법으로 코어가 몇개인지 확인해 보고, 실제로 SQL ..
이번에 서버를 업그레이드하면서 Alwayson으로 서버를 변경하였습니다. 물론 제가 변경 작업은 한 것은 아니고, 작업은 다른 분이 하셨고 변경 후에 한가지 문제가발생하였습니다. Alwayson은 로그인이 자동으로 동기화 되지 않는 문제가 있어서 Active 와 Standby 서버 2개에 모두 로그인을 만들어 줘야 하는 문제가 있었습니다. 그래서 이러한 문제를 해결하기 위해서 몇몇의 스크립트를 약간 변형하여, 자동으로 로그인을 생성하는 스크립트를 만들었습니다. 물론 이 스크립트를 Job으로 등록하여, 원하는 주기로 돌리면 자동으로 동기화가 됩니다. 이 스크립트에서 사용되는 기본적 틀은 MS에서 제공하는 계정을 이관하는 스크립트를 참조하였습니다. 그 스크립트는 다음의 URL을 참고 바랍니다.URL : ht..
단순한 테이블이 아닌 매우 복잡한 테이블을 만들고, 수많은 데이터를 넣고 조인하고 검색하기를 하려면 복합 인덱스를 만드는 것은 불가피합니다. 이것저것 많은 인덱스를 잡아야하며, 여러 칼럼을 하나의 인덱스로 만들 때, 무조건 다 때려 넣는 것은 성능에 안 좋은 영향을 미칩니다. 복합 인덱스는 단일 칼럼으로 구성된 인덱스와 달리 다음과 같이 저장됩니다. 예를 들어서 카드결제 관련 테이블을 만들고 그 테이블에 로그를 쌓는다고 생각해 보겠습니다. 그리고 그곳에 인덱스는 "카드결제일","결제항목" (그냥 막 잡았으니 이해하시길 ^^...)으로 구성되어 있다고 생각해 보겠습니다. 실제로 데이터를 확인하면서 직접 해보도록 하겠습니다. Chapter 1. 어떻게 쌓이는지 확인 -- 테이블 생성 CREATE TABLE ..
게임회사에서 근무하다가 교육업체로 업종을 변경하면서, 쿼리에 대해서 많은 차이점이 보입니다.물론 이곳(?)의 스타일 일수도 있지만, UDF를 상당히 많이 사용합니다. 게임회사에서는 UDF를 그렇게 많이는 사용하지 않았는데, 이곳에서는 아주 많은 쿼리에 UDF를 사용하는 경우를 보았습니다. UDF가 무조건 안좋은 것은 아니지만 모르고 쓸 경우 성능에 치명적인 영향을 미칠 수 있다는 것을 테스트 하였습니다. 이 테스트는 샘플 데이터베이스인 AdventureWorks2012 에서 테스트 하였으며, SQL MVP 61인 Chapter 20의 사용자 정의 함수(UDF)를 참조하였습니다.책의 내용이 2가지가 언급되어 있어, 2개로 나누어서 글을 정리 합니다. 이 테스트 쿼리는 책에서 제공하는 쿼리와 약간 다릅니다...
