기본 콘텐츠로 건너뛰기

(완료) Cron의 crontab 명령으로 Python code를 스케쥴대로 실행하기(Run python code by fixed interval with using Cron)



(완료)1# Python 으로 지출관리 사이트에서 모든지출 데이터 xlsx 파일 뽑아내고 Zapier로 구글시트에 업데이트하기 (Using Python, crawling and exporting company wide expenses data with Xlsx file. Update a Google sheet from this Xlsx file with Zapier.)

(완료) 2# Python 으로 지출관리 사이트에서 모든지출 데이터 xlsx 파일 뽑아내고 Zapier로 구글시트에 업데이트하기 (Using Python, crawling and exporting company wide expenses data with Xlsx file. Update a Google sheet from this Xlsx file with Zapier.)


위 포스팅 내용 대로,

1. python을 통해 selenium 모듈로 crawling을 해서 xlsx 파일을 이메일로 받고

2. xlsx 파일은 Zapier 라는 노코드 툴에서 Email parser by Zapier 와 2개의 Zap 으로 처리해서 구글시트에 업데이트를 했다.


하지만 계속 실시간 데이터를 유지하는게 필요하다. 

그럼 이제  추가적으로 이제 이걸 딜레이 시간 을 포함해서 정기적으로 실행되도록 해보자.

딜레이가 Zapier에서 10분 나머지 작업이 진행되는데 2분 정도로 총 12분 걸리는 것으로 확인을 했다.

 그리고 나의 경우엔 월요일부터 금요일까지, 아침 7시 30분 부터 저녁 6시 00분까지 30분 간격으로 업데이트 되도록 하겠다. 

 딜레이를 고려한다면 매 시 48,18분에 python 코드가 돌아가면 얼추 정각에 완료되는 거군!


그러기 위해서는 cron 이라는 리눅스 스케줄러를 사용하려고 한다.

1. terminal 을 열고 sudo apt install cron 으로 crontab을 설치

2. crontab -e 명령어로 VI편집기 오픈

3. i 를 눌러서 insert mode로 전환

4. 아래 명령어 입력

48,18 7-17 * * 1-5 /usr/local/bin/python3.10 /Users/ivan/PycharmProjects/spendit/main.py





5. esc로 insert mode 나가고


6. :wq 로 저장 및 종료하면 끝!



부가 설명

crontab 파일에서 cron 작업을 추가할 때, 작업이 실행되는 시간을 지정해야한다. 시간은 다음과 같은 형식으로 지정.

* * * * * command to be executed - - - - - | | | | | | | | | +----- day of the week (0 - 6) (Sunday = 0) | | | +------- month (1 - 12) | | +--------- day of the month (1 - 31) | +----------- hour (0 - 23) +------------- min (0 - 59)

이 형식에서 *는 "모든 값"을 의미한다.  예를 들어, 매 분마다 작업을 실행하려면 *를 사용 하면 된다. 작업을 실행할 특정 시간이 있다면 해당 값을 지정한다.


예를 들어, 매주 월요일 오전 3시에 스크립트를 실행하려면 다음과 같이 작성할 수 있다. 

0 3 * * 1 /usr/bin/python /home/user/myscript.py


매 시간마다 작업을 실행하려면 다음과 같이 작성할 수 있다.

0 * * * * /usr/bin/python /home/user/myscript.py

시간 값은 스페이스로 구분되며, 특정 값을 지정하거나 범위를 지정할 수 있다. 예를 들어, "1시부터 5시까지 매 30분마다"를 지정하려면 다음과 같이 작성할 수 있다.

*/30 1-5 * * * /usr/bin/python /home/user/myscript.py

 */30은 "매 30분"을 의미하고, 1-5는 "1부터 5까지"를 의미한다다. /usr/bin/python /home/user/myscript.py는 실행할 명령어이므로 적절하게 파일 path로 수정해서 사용해야한다..

시간 값이 설정된 후 crontab 파일을 저장하면 작업이 스케줄링되는데  crontab -l 명령어를 사용하여 현재 사용자의 cron 작업 목록을 확인할 수 있다.


이로써 전사 지출을 트래킹하기가 한결 쉬워졌다. :)


p.s. 내 맥북이 전원케이블에 연결되어 있지 않은 잠자기 상태이거나 전원이 꺼져있는 경우에는 작동하지 않는다. 이걸 해결하기 위해서는 서버가 필요한데 아직은 불필요해보여서 일단 이대로 유지하고 다음에는 Docker 같은 서비스를 활용하는 내용도 포스팅 해보겠다.












댓글

이 블로그의 인기 게시물

#1 (진행 중)아두이노 뇌파센서 헤드셋 만들기(Arduino EEG brain wave headset for psychological test) 만들어 뇌파 읽기

 15년 겨울쯤엔가 TED에서 흥미로운 동영상을 봤다. 뇌파를 통해 컴퓨터 안의 객체를 조종하는 모습을 시연하는 것이었다. 뇌파로 이런 것들이 가능하다는 것이 놀라웠다. 나는 심리학도가 아닌가. 뇌파가 더 정확한 심리검사를 만들 수 있는 도구가 될 수 있다는 생각이 들었다.  예를들어 검사문항(디지털 검사)이 100개짜리 라면 핵심 문항들(각 10번 단위)을 체크할 때마다 심경의 변화, 뇌파변화를 센서(객관적)도 기록하고 디지털검사(주관적)로도 기록해서 함께 데이터화 한다면 더 정확한 심경을 읽어 낼 수 있지 않을까? 라는 생각이었다. 2011년 대학원 다닐 때 컴공과 학부생들 겨울방학 특강으로 Objective-C를 무려1개월간 청강했고, C언어를 무려 2개월동안 학원에 다니면서 공부한 사람이기에 ! -_-;;;; 할 수 있을 것이다............  우선 뇌파센서를 구매해야겠지.  알리 익스프레스에서 구매한 EEG 뇌파센서 kit.  2개를 구매했다.비싸군 ㅠㅠ 배송이 한달정도 걸렸다. 학창시절 라디오 만들기인가..실과시간에 도전해본 납땜 이후로는 처음 해보는 납땜이어서 고생좀 했다. 뇌파를 측정해서 hex 코드로 컴퓨터로 읽어들일 수 있는 상태다. 읽어들인 hex값들을 10진수로 변환하고 유의미한 그래프로 그리거나 데이터화 하는 것이 필요 해 보이지만 아직 받은 값을 10진수로 변환하는 방법을 모르겠다. ㅠㅠ 소스코드는 그냥 단순히 hex값으로 읽어오는것이다보니.. 별거 없다;; 나중에 10진수로 변환하여 읽어들이고 자료화 하는 단계가 필요한 것 같은데 차근차근 진행 해 봐야겠다. 준비물 :  1. HM-08 블루투스 모듈 ($5.30) 2. 아두이노 나노 호환품 ($1.89) 3. direct nerosky e eg  brain...

1# (17.03.19 실패)파이썬(Python)을 활용해 사내식당 금일 메뉴 텔레그램 메세지로 전달받기

우리 사내식당 밥은 아주 맛있다. 맛이 없어서 그런건 아니고.. 그냥 미리 어떤 음식이 나오는지 알고싶을 뿐이다. 맛없는게 나오면 안먹고 라면을 먹기 위해서 만드는 것은 아니다. Brian Park 님의 블로그에서 초등학생 아들 알림장/급식메뉴를 텔레그램으로 알려주는 라즈베리파이 서버 관련 글을 읽고 처음으로 파이썬(웹프로그래밍 언어)에 도전하게 되었다. 의외로 스크립트언어? 사실 난 전문용어 잘 몰라유 ㅠㅠ 틀린게 있으면 바로잡아주세요 ㅠㅠ 처럼 순서대로 실행하고, C언어처럼 중괄호 개념이 아닌 들여쓰기로 구분..하는 것이 나에게는 심플하고 쉽게 느껴졌다. 물론 이런저런 명령어 외워야하는건 어쩔 수 없..ㅠ_ㅠ  아무튼 나의 특기인 따라하기 신공을 통해 맥에 python 2.7을 설치하고, 적절한 편집기로 eclipse를 골랐다. 나처럼 일자무식자가 단순 연습을 하기 위해서는 eclipse보다 그냥 python 기본 제공 앱(?)인 IDLE을 활용하여 코드 한 줄 한 줄이 어떻게 실행되고 왜 실행이 안되는지 확인 할 수 있어서 더 좋은 것 같다. 어쨋든, 삼성웰스토리에 신규 가입을 해서 아이디와 비밀번호를 알아 둔 뒤.. urllib, urllib2, cookielib 라는 라이브러리를 임포트하여 내가 읽어올 페이지 특정 부분에서 내 아이디와 비밀번호 전송값을 대입하여 처리하는.... 말해놓고 나니 무슨말인지...하아  뭐 그런 방식인 것 같다. urlencode가 핵심 키워드가 아닐까 싶다. 그래서~! 지금 아이디와 비번을 입력하여 접속된 화면이 출력되는 것 까지는 확인이 되었다. 이는, 아래에서  f=opener.open('https://www.samsungwelstory.com/member/login.jsp') for line in f: print line.strip() 부분에서처럼 사이트를 열고, 한줄씩 열거하여 보여달라고 요청하여 나온 값들과 사파리에서 소스보기 값들과...

#1 (완료) Auto touch와 Activator를 활용한 차량용 아이패드 미니1(탈옥) 세팅

 작년 7월 경 차를 하나 샀다. 벌써 1.6만km를 함께 달려왔구나~ 계속 중고차만 타다가 처음으로 장만한 이쁜이 우리 푸푸(골프의 애칭)에겐 아쉽게도 네비게이션이 없다. 2.0 고급형 모델과 일반형 모델이 네비게이션+가죽시트+스마트키 정도의 차이인데도 500만원 정도로 가격차이가 너무커서 사제 네비게이션을 달고 가죽시트를 포기하겠다는 생각으로(실제로 독일에서는 가죽시트보다 알칸타라 직물시트가 더 인기가 많음 - 아마 주행 중 엉덩이 미끄러짐 현상이 있기 때문인 듯.) 골랐는데 막상 네비게이션 장착점에 가니 100만원 ~ 150만원을 부른다. 아니.............. 그돈이면 아이패드 프로를 사요 아저씨. 네비로도 쓰고, 떼어서 영화도 보고 그림도 그릴 수 있다구요.... 그래서 아이패드 프로 12.9도 아닌, 아이패드 프로 9.7도 아닌, 아이패드 에어2도 아닌, 아이패드 에어1도아닌, 아이패드 미니4도 아닌, 아이패드 4도 아닌, 아이패드 미니2도 아닌, 아이패드 3도 아닌, 아이패드2 급의 아이패드 미니1을..... 그 당시 중고가 20만원가량을 주고 구입했다. 8.4.1 버전으로 탈옥이 가능했고, 탈옥 후 Auto touch(루아 스크립트 언어를 사용하는 Cydia앱) + Activator(탈옥기기엔 거의 필수인 Cydia앱) 으로 아래와 같은 아이디어를 실현해보고자 한다. 아니 이미 실현했으나.. 블로그를 만든지가 얼마 안돼 밀려서 쓰고 있다 ㅠ_ㅠ 아이디어 1.  차량에 시동을 걸면 아이패드가 자동으로 블루투스로 연결되고, 셀룰러 데이터, GPS ON 2.  음악앱(벅스 뮤직 플레이어)과 네비게이션 앱을 실행한다. 아래와 같이 코드를 입력했다. 잘 작동한다. 다만 lua명령 만으로는 와이파이나 셀룰러 on/off 제어가 안되기에 Activator 의 기능을 함께 활용 하는 방법을 택했다. 아이패드가 구형모델이다보니 다소 느린편이라 usleep 명령어를 통해 딜레이를 충분히 주었...