데이터엔지니어 군고구마
안녕하세요. 주형권입니다. 데이터웨어하우스 관련 글을 오랜만에 쓰는 것 같습니다. 글을 읽기 전에 이 글의 내용은 제가 알고 있고 공부한 내용을 바탕으로 설명하였습니다. 이 내용을 꼭 맹신하지 않고 혹시라도 다른 내용이 있다면, 서로 비교하여 읽기를 추천드립니다. 데이터웨어하우스 (이하 DW) 관련한 여러 가지 글이 있는데 그중에 DW의 설계 기법인 Star Schema와 Snowflake Schema에 대해서 설명해 보려고 합니다. DW를 하다 보면 가히 필수로 알아야 하는 개념이며 추가적으로 Galaxy Schema라는 설계 기법도 존재합니다. 최근에는 BigQuery와 같은 컬럼 형식으로 저장하면서 이러한 기법을 굳이 사용하지 않아도 최적의 저장 효율을 제공합니다. DW 기법이 필요한 이유는? DW..
python을 이용하여 개발하던 도중에 다음과 같은 오류가 발생하여 찾던 도중에 모든 방법이 안되서 겨우 겨우 찾아서 해결 방법을 공유 합니다. 오류 내용 not all arguments converted during string formatting 위와 같이 오류가 발생하였습니다. 위의 오류 발생 구간은 mysql 에 데이터를 넣는 부분이였습니다. 분명히 잘되던게... 갑자기 안되서 당황하였는데요. google에 검색하면 여러가지 내용이 나옵니다. https://stackoverflow.com/questions/21740359/python-mysqldb-typeerror-not-all-arguments-converted-during-string-formatting Python MySQLdb TypeEr..
들어가기 앞서 저는 네트워크와 관련한 지식이 전혀 없습니다. AWS 관련하여, 업무를 위해서 급하게 공부를 하였으며 용어 및 내용이 틀릴 수 있는 점을 양해 부탁드립니다.계산법은 다음의 URL의 내용의 문제를 푸는 방법에 대해서 설명 하였습니다. URL : http://www.subnettingquestions.com/ 질문 : subnetwork 172.17.102.0 255.255.254.0 에서 유효한 호스트 마지막 값은 무엇인가? 우선 첫번째로 중요한 부분이 서브넷 마스크 입니다. 위에서 255.255.254.0 은 서브넷 마스크 입니다. 관련하여, 내용은 다음의 URL 을 참조하면 좋습니다. ( URL : http://koreandaeddo.blogspot.kr/2015/12/ip.html ) ..
공부 하려고 만들어 본 용어 정리표 잘 안보이시는 분들은 아래의 엑셀 파일 다운로드 해주세요.
원본 MSSQLSERVER 이벤트 ID 17806 사용자 응용프로그램 수준 오류 내용 통합 보안으로 연결을 설정하는 동안 SSPI 핸드셰이크가 실패했습니다(오류 코드 0x8009030c). 연결이 닫혔습니다. [클라이언트: xxx.xxx.xxx.xxx] 위의 오류는 다음과 같은 SQL Server의 오류를 같이 발생 시킵니다. 원인 - 원인은 아래의 테스크를 통한 데이터를 가져올 경우 패스워드 오류로 인하여, 발생 합니다. - 다음과 같은 오류가 발생하면서, 오류가 발생하고, SQL Server 로그 및 Windwos Event 로그에 다음의 내용이 나타납니다. - 만약 이 오류를 DBA 또는 DB에 접근 할 수 있는 누군가가 냈다면, 크게 걱정하지 않아도 무방 할 것으로 보입니다. 하지만 , 이 오류를..
원본 VDS Dynamic Provider 이벤트 ID 10 사용자 SYSTEM 수준 오류 내용 드라이버에서 알림을 저장하는 동안 공급자가 실패했습니다. 가상 디스크 서비스를 다시 시작해야 합니다. hr=80042505 원인 - VDS (Virtual Disk service) 의 작동이 중지 됨에 따라 해당 이벤트 로그가 발생 합니다.- 서비스에 지장이 없다고 합니다. (SE 팀의 의견) - VDS란? ( https://msdn.microsoft.com/ko-kr/library/windows/desktop/aa381442(v=vs.85).aspx )- Windwos Server의 경우 2TB 이상의 Disk 파티션을 만들수가 없어서 VDS를 이용하여, 설정합니다. VDS는 2TB 이상의 파티션을 구성하기..
원본 RestartManager 이벤트 ID 10010 사용자 SYSTEM 수준 경고 내용 응용 프로그램 'W:\21b1ae053e4e964eeb31\x64\setup100.exe'(PID 15656)을(를) 다시 시작할 수 없습니다. 응용 프로그램 SID가 지휘자 SID와 일치하지 않습니다.. 원인 - SQL Server 설치 시 잘못 된 설치 파일을 설치하려고 시도 할 때 발생하였습니다. SQL Server 이외에 다른 응용프로그램도 발생 할 수 있을 것으로 보입니다. 해결 방법 - 정상적인 설치 프로그램으로 설치를 합니다.- 해당 오류에 대해서 당시 사용자가 설치파일을 잘못 가져온 것이므로, 크게 시스템에 지장이 없다고 판단하여, 해당 이벤트 로그는 무시 하였습니다. 참조https://technet..
Windows에서 자동으로 bat파일과 스케줄러를 이용하여, 자동으로 파일을 삭제하도록 할 수 있습니다. MSSQL 백업을 받은 이후에 자동으로 삭제하는 것은 MSSQL에서 쿼리로도 가능하지만, windows 상에서도 가능 합니다.bat 파일을 만들어 스케줄에 등록하여, windows 에서 돌아가게 할 수 있습니다. 쿼리로 하는 방법은 xp_cmdshell , xp_delete_file 등이 있습니다. xp_delete_file 관련 설명 : http://optimizer.tistory.com/93 하지만, 백업파일을 백업서버로 넘기고 (일반적으로 같은 서버에 백업본을 계속 보관하지는 않을 것이므로...) 그 백업파일을 몇일 후에 삭제하는 경우에사용하면 좋을 것으로 보입니다. 다음과 같은 순서로 만들 수..
이번 포스트에서는 시스템이 예고 없이 Shutdown된 경우 이벤트 로그에 로깅 되는 Eventlog, 6008이 어떻게 로깅 되는지 그리고 일반적인 원인 대해서 설명 드리겠습니다.[Eventlog]EVENT ID: 6008Source: EventlogType: 오류Description: 2008-02-04의 오후 3:17:29에서 이전에 예기치 않은 시스템 종료가 있었습니다. Windows은 Shutdown을 두 가지 종류로 구분합니다1. Clean Shutdown(=Expected Shutdown): 정상적인 Shutdown2. Dirty Shutdown(=Unexpected Shutdown): 비정상적인 Shutdown사용자가 시스템을 정상으로 종료한 것이 아니고 비정상적으로 종료 된 경우가 Dir..
MS 정보DetailsProduct:Windows Operating SystemID:50Source:TermDDVersion:5.2Symbolic Name:STATUS_RDP_PROTOCOL_ERRORMessage:The RDP protocol component %2 detected an error in the protocol stream and has disconnected the client. ExplanationThis error can occur if a terminal server receives packets over a Remote Desktop Protocol (RDP) connection that it cannot process. User ActionTo diagnose the s..
외부의 윈도우서버를 관리하기 위해서는 터미널서비스를 사용하게 됩니다. 이벤트로그에 다음과 같은 오류가 엄청 많이 등록이 되었습니다. 현상 Microsoft Windows 2000 Server 기반 컴퓨터의 이벤트 뷰어에 이벤트 ID 1100 메시지가 기록되고 Microsoft Windows Server 2003 기반 컴퓨터의 이벤트 뷰어에 이벤트 ID 1114 메시지가 기록됩니다. 이 이벤트 ID 메시지의 내용은 다음과 유사할 수 있습니다. 이벤트 종류: 오류 이벤트 원본: TermServDevices 이벤트 범주: 없음 이벤트 ID: 1100 설명: 알림 초기화 실패. 이벤트 종류: 오류 이벤트 원본: TermServDevices 이벤트 범주: 없음 이벤트 ID: 1114 설명: 스풀러 시스템 서비스와..
일반적으로 두개의 이벤트는 같이 발생 한다고 합니다. 이벤트 ID: 8021 원본: Browser 종류: 경고 설명: 브라우저가 네트워크 \Device\_에 있는 브라우저 마스터 (으)로부터 서버 목록을 검색하지 못했습니다. 데이터는 오류 코드입니다. 데이터 워드: 0000: 00000005 예제 텍스트: 브라우저가 네트워크 \Device\NetBT_Tcpip_{D995825F-F226-49D6-8221-503BE0A9BBAD}에 있는 브라우저 마스터 \\SERVER44(으)로부터 서버 목록을 검색하지 못했습니다. 데이터는 오류 코드입니다. 이벤트 ID: 8032 원본: Browser 종류: 오류 설명: 브라우저 서비스가 여러 번 전송 \Device\_에서 백업 목록을 검색하지 못했습니다. 백업 브라우저..
EventID : 129Sorce : ql2300 / WarningOS : Windows Server 2008 Enterprise 조치 사항이 이벤트는 HBA 카드의 Qlogic 드라이버 펌웨어의 버전이 낮아서 발생 하는 문제입니다.Windows Server 2008 Enterprise 에서 발생하는 오류이며 펌웨어 업데이트를 통해서 해결이 가능합니
오류 내용 EventID : 1000 Sorce : Application Error Level : Error 해결책 Application Error는 응용프로그램이 강제적으로 종료 되었을 시에 나타나는 증상이다. 여기서 중요한것은 어떠한 프로그램이 문제를 일으켯는지를 설명을 참조하여 확인하고 그에 맞는 적절한 대처를 해야한다. 이번에 오류에 보면 wmiprvse.exe가 문제를 일으켰음을 알 수 있다. 인터넷 지식인 검색 결과 WMI (Windows Management Instrumentation)는 시스템 관리에 대한 정보를 제공하는 Microsoft Windows 구성 요소입니다. WMIPRVSE.EXE 프로세스는 윈도우 관리 도구 공급자 서비스(Windows Management Instrumenta..
EventID : 1030Source : GroupPolicyType : ErrorSystem : Windows Server 2008 R2 Datacenter 해결책 그룹정책 실패라고 하는데 무슨 말인지 모르겠다. 무엇인가 실패해서 그룹정책을 새로고침(?)다시 한다고 한다.이 부분을 해결하기 위해서는 MS에서는 다음과 같이 명시하고 있다. 1. 시작메뉴 -> 모든 프로그램 -> 보조 프로그램2. CMD 실행 -> gpupdate 입력 Enter3. gpupdate 명령이 완료되면 이벤트 뷰어 확인 만약에 이것이 실패가 안났으면 다음과 같은 EventID로 정보가 찍힐것입니다. - 1500,1501,1502,1503 단순히 실패 후에 새로고침을 해서 확인하라고 나오고 있다. 필자의 경우 실패 후에 바로 위..
![[DW] Star Schema와 Snowflake Schema에 대하여...](http://i1.daumcdn.net/thumb/C120x120/?fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FmLqWZ%2FbtrR8VzKHA4%2FAAAAAAAAAAAAAAAAAAAAANkApkIOoJbDgd_0IzsHfMcqrB78G6Da9hpK28o2GfHQ%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DlyWYJaVxH5WH2XAwQP5my8HNagA%253D)
