본문 바로가기

Programming

 (32)
[Airflow]크론탭 설정으로 주말 제외하고 배치 수행하기 안녕하세요. 잇킹 시도르입니다. 이전 프로젝트에서는 에어플로우로 배치 스케줄링을 관리했었습니다. 용도 때문에 주말을 제외하고 돌아야 하는 배치가 있었는데요. 주말 제외한 평일에만 배치가 수행되도록 지정하는 법이 알고 나면 간단하지만, 방법을 찾느라 좀 고생해서 글을 남기려고 합니다. 결과적으로 * * * * 1-5 로 지정해주면 됩니다. 에어플로우의 dag 스케줄링은 크론탭으로 작성 가능합니다. 크론탭(Crontab)의 주기는 5개로 분(0~59) 시간(0~23) 일(1~31) 월(1~12) 요일(1~7)로 결정해주면 됩니다. 이때 요일은 1이 월, 7일 일요일이고요. 예제) 매일 새벽 1시 30분에 월요일~금요일까지 배치를 수행해야 한다면? 30 1 * * 1-5로 에어플로우의 스케줄을 지정해주면 되겠..
CSV 파일을 UTF8로 변환하는 방법 안녕하세요. 잇킹 시도르입니다. 오늘은 CSV 파일을 UTF-8로 인코딩하는 방법을 공유하려고 합니다. CSV 파일을 기본 저장하게 되면, 파이썬 등에서 이용 시에 한글이 깨집니다. 그래서 CSV를 UTF8로 인코딩해야 하는데요. 용량이 적은 CSV는 메모장을 이용해서 쉽게 변환할 수 있습니다. 해당 방법을 공유하도록 하겠습니다. 1. notepad로 UTF8로 변경하려는 CSV 파일을 연다 2. 다른이름으로 저장 팝업창에서 인코딩 형태를 UTF-8로 해준다. 이때 파일 이름에 .csv를 넣어서 CSV 파일로 저장해야 합니다. 물론 txt로 저장 후에 csv로 파일 변경해도 상관없습니다. 3. UTF8로 인코딩한 CSV 확인 이상입니다.
[DBeaver]멀티 탭에서 각각 쿼리 수행하는 설정 및 실행계획 단축키 안녕하세요. 잇킹 시도르입니다.먼저 실행계획 단축키입니다.Ctrl + Shift + E 입니다. 그리고 DBeaver 설정법 한 개를 소개하려고 합니다. 제 개인적인 생각은 필수로 생각하는 설정입니다. 바로 여러 탭에서 쿼리를 수행하는 기능인데요. 이상하게 이게 기본 옵션이 아닙니다. 그래서 수행 시간이 긴 쿼리를 수행하다가 다른 탭에서 조회하면 이전에 수행하고 있던 쿼리가 실행 중지되어버리는 상황인 거죠. 기본 옵션이라면 멍하니 쿼리가 끝날 때까지 기다려야만 하는 상황입니다. 여러 개의 edit 탭에서 각각 쿼리 수행하는 게 필수라고 생각하는 이유입니다. 그래서 해당 옵션 설정법을 공유하겠습니다. Window > Preferences 팝업창에서DBeaver > Editors > SQL Editor 메뉴..
[DBeaver]윈도우10에서 영어로 언어 변경하기 안녕하세요. 잇킹 시도르입니다. 윈도우 10에서는 DBeaver 언어가 영어로 안 바뀌더라고요. 전 제가 설치를 잘못한 줄 알고 몇 번을 지웠다 깔았다 하다가 안된다는 사실을 알았습니다. 윈도우 > 설정 메뉴로 들어가면 하기 캡처와 같은 에러가 나오면서 바뀌지 않습니다. 저처럼 삽질하지 마시라고 해당 현상 조치법 공유합니다. 1. DBever 설치 폴더에서 dbeaver.ini 파일을 엽니다. 2. 해당 파일에 -nl XX 라고 추가해줍니다. 이때 관리자 모드로 실행해되는거 같은데, 전 되지 않아서 바탕화면에서 해당 파일 복사해놓고 옮겼습니다. 3. 다시 윈도우 > 설정에서 언어를 English로 바꿔주면 Restart를 실행한다는 메시지가 나오고 예를 선택하면 재실행이 됩니다. 4. 영어로 언어가 변경..
[DBeaver]CSV를 DB처럼! 안녕하세요. 잇킹 시도르입니다. 오늘은 전에 소개한 DBeaver의 유용한 기능 하나를 소개하겠습니다. 사실 DBeaver를 추천받은 게 이 기능 때문이었는데요. CSV가 있는 폴더를 지정하면 DB처럼 바로 조회 가능한 기능입니다. 프로젝트를 진행하다보면 테스트 데이터를 CSV를 자주 받습니다. CSV 분석하는 건 다양한 방법이 있을 텐데요. 그중 쿼리가 편하신 분들은 해당 CSV 파일로 테이블을 생성해서 INSERT 해서 보는 경우도 봤습니다. 한두 개면 상관없는데, 여러 개 CSV이면 아무래도 귀찮죠? 바로 DBeaver로 보는 방법을 공유하도록 하겠습니다. 1. Database 추가하는 팝업 창에서 CSV를 조회합니다. 이때 카테고리는 ALL에서 조회하시면 됩니다. 처음에 Popular에 있는 경우..

티스토리툴바