밤준 밤준

Airflow - Slackairflow에서 성공, 실패시 slack으로 알림을 받기 위해 작성한다. 현재 내 잡은 이렇게 되어 있고, 실패시 알림을 받고 있다.task 명과 내가 받은 알림의 task가 다른 예시용이니 참고 바란다.[태스크 상세] 버튼을 누르면 airflow log로 한 번에 이동할 수 있다. 이제부터 airflow - slack 설정하는 방법을 알아보자. Airflow 설정Airflow UI > Admin > Connections 에 들어가 connection을 위한 정보를 입력Webhook Token은 본인이 만든 slack api에서 볼 수 있다. (https://api.slack.com/apps)  Slack Alert Classfrom airflow.providers.slack..

Determine if a 9 x 9 Sudoku board is valid. Only the filled cells need to be validated according to the following rules: Each row must contain the digits 1-9 without repetition. Each column must contain the digits 1-9 without repetition. Each of the nine 3 x 3 sub-boxes of the grid must contain the digits 1-9 without repetition. Note: A Sudoku board (partially filled) could be valid but is not n..

Given a sorted array of distinct integers and a target value, return the index if the target is found. If not, return the index where it would be if it were inserted in order. You must write an algorithm with O(log n) runtime complexity. Example 1: Input: nums = [1,3,5,6], target = 5 Output: 2 Example 2: Input: nums = [1,3,5,6], target = 2 Output: 1 Example 3: Input: nums = [1,3,5,6], target = 7..

hadoop3 기준으로 설명 1. hadoop MR 실행하기 위한 기본 쉘 파일 ${HADOOP} --config ${HADOOP_CONF_DIR} jar ${JAR_PATH} \ -files "argvs, mapper.py, reducer.py" \ -D mapreduce.job.name="test job" \ -D mapreduce.job.reduces=1 \ -D mapreduce.reduce.memory.mb=40960 \ -D stream.num.map.output.key.fields=1 \ -D stream.map.output.field.separator="\t" \ -D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapred.l..

http://taewan.kim/post/python_virtual_env/ 에러 해결 1. sendfile 관련 에러 : https://vipdeveloper.tistory.com/65 2. failed to activate virtualenv 관련 에러 : https://velog.io/@limdongyoung0/pyenv-Failed-to-activate-virtualenv

1. Terminal 실행 2. pip3 install --upgrade pip 3. pip3 install jupyter 4. jupyter notebook (= jupyter lab)

로컬에서 모델 개발시 : hyperopt, optuna, skopt 여러 노드에서 모델 개발시 : katib, ray hyperopt 예제 https://teddylee777.github.io/thoughts/hyper-opt 베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝 베이지안 최적화에 기반한 HyperOpt를 활용한 하이퍼 파라미터 튜닝 방법에 대하여 알아 보도록 하겠습니다. teddylee777.github.io

You are given a string s and an array of strings words of the same length. Return all starting indices of substring(s) in s that is a concatenation of each word in words exactly once, in any order, and without any intervening characters. You can return the answer in any order. Example 1: Input: s = "barfoothefoobarman", words = ["foo","bar"] Output: [0,9] Explanation: Substrings starting at inde..