HADOOP
-
hadoop MRHADOOP 2022. 10. 17. 14:20
hadoop3 기준으로 설명 1. hadoop MR 실행하기 위한 기본 쉘 파일 ${HADOOP} --config ${HADOOP_CONF_DIR} jar ${JAR_PATH} \ -files "argvs, mapper.py, reducer.py" \ -D mapreduce.job.name="test job" \ -D mapreduce.job.reduces=1 \ -D mapreduce.reduce.memory.mb=40960 \ -D stream.num.map.output.key.fields=1 \ -D stream.map.output.field.separator="\t" \ -D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapred.l..