[AWS] EC2 서버에 Python 개발 환경 구축 _ Miniconda, Jupyter Notebook

[ 단계 ]

1. 미니콘다 설치
2. Jupyter Notebook 설치 및 외부 접속 허용하기
3. EC2 인바운드 규칙 편집

 

 

1. 미니콘다 설치

1. 미니콘다 파일 다운로드

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

 

2. bash 파일을 실행

bash Miniconda3-latest-Linux-x86_64.sh

 

bash 파일을 실행하면 다음처럼 라이센스가 나오게 된다. yes와 엔터키를 눌러 진행한다.

아나콘다 설치 위치 - 엔터눌러 기본값을 사용

설치를 마치게 되면 conda init을 기본적으로 사용할 것인지를 묻는다. -> 기본설정 사용

 

"Thank you for installing Miniconda3!" 문구 나오면 미니콘다 정상 설치 완료!!!

 

3. 미니콘다 가상환경 실행

미니콘다가 bashrc 환경 변수에 자동으로 등록되어 있다. source ~/.bashrc 를 입력하면 (base)라는 기본 가상환경이 사용.

source ~/.bashrc

 

Which python을 입력하면 다음과 같이 miniconda3 경로에 있는 파이썬을 사용하는 것을 알 수 있다.

 

 

 

 

2. Jupyter Notebook 설치 및 외부 접속 허용하기

 

1. 가상환경 생성하고 실행시키기

conda create -n spark-env python=3.8
conda activate spark-env

Python 최신버전이 아닌 3.8버전을 사용하는 이유는 파이썬 빅데이터 도구(Spark, Kafka 등) 대부분 3.8버전부터 지원이 되기 때문에 시작 버전을 사용함으로써 보다 안정적으로 사용할 수 있기 때문이다.

 

2. jupyter Notebook 설치하기

pip install notebook==6

 

3. jupyter Notebook에서 사용할 비밀번호 설정하기

먼저, 터미널에서 python 명령어를 이용해 파이썬을 실행시킨다.

 

그 다음 jupyternotebook에 원격 접속을 하기 위해서 비밀번호 설정한다.

from notebook.auth import passwd
passwd()

sha1는 hash 알고리즘에 의해 암호화된 비밀번호이다. 절때 잃어버리면 안되므로 별도로 복사해놔야 한다.

파이썬 실행 나가기는 ctrl + d를 눌러 나갈 수 있다.

 

4. notebook config 파일 생성하기

외부에서 접속을 할 수 있게 jupyter configuration 파일을 만들어 준다.

아래 명령어를 입력하면 jupyter 폴더에 jupyter_notebook_config.py파일이 생성된다.

jupyter notebook --generate-config

해당 파일을 외부에서 접속할 수 있도록 수정한다.

 

5. notebook config 파일 수정하기

먼저 config 파일을 연다.

sudo vim /home/ubuntu/.jupyter/jupyter_notebook_config.py

 

다음과 같이 수정한다.

- password는 앞서 생성한 암호화된 비밀번호

- ip는 EC2 프라이빗 IPv4 주소

- notebook_dir은 작업할 디렉토리 경로 (있는 폴더 경로로 설정해야 하며, 기존 폴더가 없을 경우엔 설정 후 생성해도 됨)

 

6. notebook 실행하기

 

아래 명령어로 jupyter notebook을 실행한다.

jupyter notebook --allow-root

 

웹에서 jupyter notebook에 접속하기 위한 주소는 EC2 인스턴스의  퍼블릭 IPv4 DNS:8888 이다.

주소에 접속하면 사이트에 연결할 수 없을 것이다. EC2에서 인바운드 규칙을 추가해주지 않았기 때문이다.

따라서 EC2 인바운드 규칙으로 해당 포트를 열어주어 접속 할 수 있도록 설정해야 한다.

 

 

 

 

3. EC2 인바운드 규칙 편집

EC2 보안그룹에서 인바운드 규칙 편집을 선택한다.

 

다음과 같이 8888포트에 대한 규칙을 추가한다. 규칙 추가후 저장하면 완료된다.

 

jupyter notebook 접속하기

이제 해당 주소로 접속하면 정상적으로 jupyter notebook으로 접속이 가능하다.

비밀번호는 앞에서 설정한 비밀번호 입력

 

비밀번호를 입력하면 jupyter notebook 사용이 가능하다.