embulk Error (server Timezone)

환경 - OS : Mac OS - Input : mysql (AWS) - Output : big query (GCP) 오류 내용 org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: java.sql.SQLException: The server time zone value 'KST' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configuration property) to use a more specifc time zone value if you..

• format_list_bulleted Data pipeline/Embulk
• · 2019. 10. 25.
• textsms

RDS (Aurora)에서 read-only 문제가 날 경우

저 같은 바보가 있지 않기를 바라며 짧은 글 올립니다. 다음과 같이 오류가 계속 해서 RDS에서 발생하여, INSERT / UPDATE / DELETE 가 안되는 상황이 발생하였습니다.create table joo ( col1 int )Error Code: 1290. The MySQL server is running with the --read-only option so it cannot execute this statement 구글에서 몇가지 찾아보았는데요.PK가 없다거나, "SET GLOBAL read_only = ON; " 옵션을 꺼야한다거나 많은 내용이 있었는데요. 참 바보같은 이유였습니다.바로 재부팅을 해서 마스터 슬레이브가 바뀐거였습니다. 자동으로 failover 처리하여, 바뀐거였습니다.기본..

• format_list_bulleted AWS/RDS
• · 2018. 7. 18.
• textsms

MySQL 설치 시 libaio 관련 Error

MySQL 설치를 하는 중에 모든 설정 및 디렉터리, my.cnf 등을 모두 잘 설정하였는데 mysql system 테이블 설치만 하면... 자꾸 오류가 나는 경우가 있습니다. 오류의 내용은 다음과 같습니다. /usr/local/mysql/bin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory영어 울렁증으로 인하여, 영어를 자세히 읽어 보지 않고 뒤쪽에 ..

• format_list_bulleted Database/MY SQL
• · 2016. 9. 12.
• textsms

MySQL 5.5_유저등록

My SQL은 MS SQL과 다르게 DB에 연결 하기 위해서 유저를 등록해줘야 합니다.DB별로 접근을 제한 할 수도 있고, IP대역 및 특정 IP별로 유저를 제한이 가능 합니다. 문제 원인 1. 잘 되던 툴이 갑자기 안된다고 접수 받음2. 확인해 보니 서버를 이전하면서, IP정보가 변경 되었음 문제 해결 방법 문제는 mysql DB에 user 테이블에 등록된 정보에 IP가 변경되었는데 Update가 되지 않아서 발생 하였습니다. SELECT * FROM mysql.user 우선 mysql DB에 user 테이블에서 해당 유저가 등록여부를 확인 하였습니다. (보안상 음영처리) 우선 해당 Host와 user에 보니 변경되기 전의 IP가 등록이 되어 있었습니다.하여, 해당 Host를 새로운 Host로 Upda..

• format_list_bulleted Database/MY SQL
• · 2015. 4. 6.
• textsms

MySQL_백업 스케줄러 확인

mysql도 mssql 처럼 job 스케줄러가 있습니다. 그중에 백업에 관한 스케줄러를 살펴 볼까 합니다. crontab -l 을 입력 하면 (L입니다.) 다음과 같이 나옵니다. 2개의 스케줄러가 있는 것으로 보입니다.이 스케줄러의 새부 내용을 보고 싶으면 vi편집기를 이용해 보면 됩니다. 우선 현재 위치를 pwd를 이용해 확인 합니다. 현재 위치는 root입니다.위에 보시면 붉은줄을 친 곳의 위치가 나오고 맨 뒤에 shell 스크립트가 존재 한다고 나옵니다.하여, 해당 내역을 보기 위해서는 위의 위치로 이동하거나 vi 편집기를 할때 경로까지 모두 지정해 주셔야 합니다. 해당 폴더로 이동하여 확인해 보도록 하겠습니다. 해당 폴더로 이동하여, ls 를 통해서 (L입니다.) 무슨 파일이 있나 확인했는데 정상..

• format_list_bulleted Database/MY SQL
• · 2015. 4. 6.
• textsms