일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- Iceberg
- Linux
- bigdata engineer
- bigdata engineering
- 코테
- 코딩테스트
- Trino
- Spark
- Apache Kafka
- pyspark
- 프로그래머스
- 맛집
- 알고리즘
- apache iceberg
- 삼성역맛집
- Data Engineer
- 영어
- 용인맛집
- Data Engineering
- 여행
- BigData
- 코엑스맛집
- 개발
- HIVE
- java
- 자바
- Kafka
- 백준
- 코딩
- hadoop
- Today
- Total
목록데이터 엔지니어링 정복 (429)
지구정복
와 진짜 역대급 삽질이었다. 거의 이틀 동안 죽는줄 알았다...; 하둡 스트리밍 많이하지는 않지만 혹시라도 나처럼 이틀이란 시간을 낭비하는 분이 없기를 바라면서 작성한다. 먼저 에러설명 이후에 올바른 사용법을 설명한다. 1. 내가 만난 에러들 -그런 파일이나 디렉토리를 찾을 수 없습니다. 맵리듀스 실행했는데 이런 에러가 뜨면 정말 경로문제가 맞다. 먼저 하둡 스트리밍 명령어 주요 옵션들의 경로를 확인한다. -file : 매퍼와 리듀스가 있는 로컬 디렉토리이고 매퍼와 리듀스 파일명까지 적어준다. -mapper : 매퍼 파일명만 적어준다. -input : hdfs에서 가져올 input데이터 경로이다. -output : hdfs에 저장될 결과 데이터 경로이다. 하둡 스트리밍 명령어가 이상없으면 혹시 분산환경에..

기존 프로그램을 삭제하고 다시 설치하려고 하는데 기존 프로그램의 데이터를 모두 백업시키기에는 제한적일 때 윈도우 복원 기능을 사용하자~ 내 컴퓨터 우클릭 - 속성 시스템 보호 만들기 복원지점 이름 작성 - 만들기 복원할 때는 아래와 같다. 시스템 복원 다른 복원지점 선택 - 다음 만든 복원지점 클릭 후 다음
기존에 설치된 버추얼박스를 지우고 기존 버전보다 한 단계 아래 버전을 설치하면된다. 나의 경우 갑자기 제목과 같은 에러뜨면서 실행이 안되었고 기존 내 버전은 5.2.44였는데 5.2.42 버전으로 재설치하니깐 해결됐다. 저런 에러가 뜬 원인은 요새 가상머신 끌 때 너무 강제종료를 많이 해서 그런것 같다... 그 외에는 특별히 건드린게 없었으니깐 다음부터는 항상 정상적인 방법으로 종료시켜야겠다!

centOS 7 리눅스에는 기본적으로 파이썬 2.7이 설치되어 있다. 아래 명령어로 파이썬 버전을 확인할 수 있다.python --versionPython 2.7.5이를 최신버전으로 바꿔서 설치해본다. 루트계정으로 로그인해서 아래 명령어 실행한다.이는 파이썬 설치에 필요한 각종 플로그인을 다운받는다. gcc는 gnu 컴파일러 모음을 의미한다.openssl-devel은 웹브라우저와 서버 간의 통신을 암호화하는 오픈소스 라이브러리이다.bzip2-devel은 압축프로그램중 하나이다libffi-devel은 인터프리터언어와 컴파일 언어 연결해주는 라이브러리이다.뒤에 -devel은 컴파일을 위한 라이브러리 패키지이다.yum install gcc openssl-devel bzip2-devel libffi-devel ..