지구정복

1. 설치https://wikidocs.net/book/8531위 참고 책을 참고하면 가상환경에 FastAPI사용하는데 가상환경을 사용하면 스파크 사용시 가상환경 파이썬을 배포해줘야하니 일단 편의상 가상환경을 사용하지 않고 바로 서버에 설치하고 사용해본다. 먼저 Fastapi와 uvicorn 파이썬 패키지를 웹서버 띄울 서버에 설치해준다.여기선 gn001서버에 설치한다. FastAPI는 비동기 처리를 지원하여 높은 성능을 제공하고, 타입 검사 및 자동화된 API 문서 생성을 통해 개발자가 빠르게 효율적인 RESTful API를 구축할 수 있도록 돕습니다. Uvicorn은 경량의 웹 서버로, FastAPI와 같은 비동기 웹 프레임워크에서 높은 성능의 API를 실행하고 배포할 수 있도록 해줍니다. 추후에 s..

출처: 빅데이터를 지탱하는 기술 책에 나와있는 코드가 실행이 안되서 제가 약간 수정을 했습니다~ 책에 나온 예제 데이터는 더 이상 다운로드할 수 없길래 비슷한 웹서버 로그를 찾아서 진행했다. 아래에서 다운로드 받을 수 있다. *운영환경 윈도우10 파이썬3.8.5 IDE: 이클립스pydev 1. 로그 데이터 파싱하기 해당 로그 데이터에서 필요한 부분만 정규표현식을 이용해서 추출하고 이를 pandas를 이용해서 데이터프레임 형식으로 만들어본다. import re import pandas as pd import os.path #로그 데이터를 확인하고 추출하고 싶은 데이터만 정규표현식을 이용해서 추출 #시간, 웹서버요청정보, 요청결과, 크기 pattern = re.compile( '^\S+ \S+ \S+ \[(..

numpy 모듈 사용하려는데 아래와 같은 에러가 떴다.. * the python vhttps://numpy.org/devdocs/user/troubleshooting-importerror.htmlrsion is: python3.8 from "" * the numpy version is: "1.19.2" 대충 보니깐 파이썬 3.8.5에서 numpy 1.92.2를 사용하지 못하는 것 같았다. 파이썬 버전을 올리거나 numpy버전을 낮춰서 사용해야하는데 파이썬 버전 올리는 건 귀찮아서 numpy버전을 낮췄다. 아나콘다 파이썬 인터프리터이면 아나콘다 프롬프트를 실행 그냥 파이썬 인터프리터이면 cmd창 실행해서 아래 명령어로 현재 numpy 삭제한다. pip uninstall numpy 이제 numpy모듈을 설치..

centOS 7 리눅스에는 기본적으로 파이썬 2.7이 설치되어 있다. 아래 명령어로 파이썬 버전을 확인할 수 있다.python --versionPython 2.7.5이를 최신버전으로 바꿔서 설치해본다. 루트계정으로 로그인해서 아래 명령어 실행한다.이는 파이썬 설치에 필요한 각종 플로그인을 다운받는다. gcc는 gnu 컴파일러 모음을 의미한다.openssl-devel은 웹브라우저와 서버 간의 통신을 암호화하는 오픈소스 라이브러리이다.bzip2-devel은 압축프로그램중 하나이다libffi-devel은 인터프리터언어와 컴파일 언어 연결해주는 라이브러리이다.뒤에 -devel은 컴파일을 위한 라이브러리 패키지이다.yum install gcc openssl-devel bzip2-devel libffi-devel ..