다시하는 블로그

GCP에서도 jupyter-notebook을 만들어 로컬에서 사용하는 거처럼 구동을 할 수가 있습니다

일단 gcp가 instance 가 생성되어저 있다는 가정에 하에 이야기를 진행해보도록 하겠습니다

정말 간단하게 사용이 가능하다

일단 구글 클라우드에 접속해서 jupyter-notebook을 설치해준다

 설치를 마쳤다면 Jupyter notebook config 파일을 생성해보자

$jupyter notebook --generate-config

를 하면 config 파일이 생성이 된다

생성된 위치는

~/.jupyter/jupyter_notebook_config.py

라는 python 파일이 하나 생성이 된다

생성된 파일을 vim을 통해 열어 준다

아마 파일을 열면 위에 하얀색 글씨를 제외한 파랑색 글씨만 남아 있을 것이다

그러면 하얀색 글씨를 추가해서 config 를 작성 해준다

c = get_config()  

c.IPKernelApp.pylab = 'inline'  

c.NotebookApp.open_browser = False  

c.NotebookApp.token = '' <<- ' 2개 이다

위 내용을 추가해 주고 저장 후 종료를 한다

종료후 ssh 접속을 종료후

$ssh -i <RSA-key> -L <any port number>:localhost:8888 <ID>@<instance-ExternelIP>

예를 들어 $ssh -i ~/.ssh/key -L 1234:localhost:8888 googleID@123.123.123.123 처럼 ssh 접속을 하면 된다

접속 후  jupyter notebook을 실행하면 된다

$jupyter notebook

으로 실행하면 된다

localhost:1234

실행후 인터넷 브라우저 상에서 localhost:<portnum>

으로 접속하면 끝이 난다

만약 python 2.x로 한다면 jupyter notebook의 설치를 pip로 해주면 된다

저번 포스팅에서 WEB UI로 구글 클라우드 플랫폼(GCP)에 접근 사용하는 법을 알아 보았는데

WEB UI 기반의 접근을 자주 하다 보면 많은 오류가 발생된다

그러던 중 gcloud sdk를 이용하여 GCP 접근을 하여 사용하면 조금은 복잡하지만 좀 더 빠르고 확실하게 세팅을 할 수 있어서 간략하게 포스팅 하고자 한다

본 포스팅은 MAC 기반으로 이루어 졌지만 Windows 기반으로도 활용이 가능하다

SDK를 설치 하고 path를 설정해주는 법만 다를뿐 사용하는 방법은 같다

우선 GCP sdk를 깐다 링크 

자신의 플랫폼과 맞는 sdk를 설치해주면 된다

설치를 다 하면 설치된 폴더에 가서 설치를 진행해주면된다

./google-cloud-sdk/install.sh

설치가 끝났다면 위에 

중간에 설치에 관한 정보 등을 구글에 전송할 것인가 물어보는데 필요한데로 대답을 해주면 설치가 완료 된다

Windows에서는 설치된 패스가 자동으로 등록이 되어 setup만 해주면 설치가 종료가 된다

하지만 mac이나 linux 환경에서는 설치를 마치면 path를 등록해주어야 한다

실행 파일의 위치는 설치 마지막에 친절하게 알려 준다

위 이미지에 Source 라고 되어 있는 부분이 설치된 파일의 저장 위치다

sudo su 를 이용해서 슈퍼 관리자 권한을 얻은후 path를 지정해 줘도 되고

그냥 설치된 위치/bin/gcloud 를 사용해서 sdk를 사용해도 된다

일단 맥을 써본지 얼마 안되서 path가 지정이 안되어 일단 설치된 위치/bin/gcloud를 사용하고 있다

여기까지 하면 설치가 종료되었다

다음포스팅에서 사용법을 간단히 알아보도록 하겠다

구글 클라우드 플랫폼(GCP)에 SSH로 접속하는 방법은 

1. 브라우저 창에서 열기

2. 맞춤 포트의 브라우저 창에서 열기

3. gcloud 명령 보기

4. 다른 클라이언트 SSH 사용이 있다

현재 사용하고 있는 PC 에서 GCP로 접근 하는 제일 친숙한 방법인 다른 클라이언트를 사용해서 GCP로 접근하는 방법에 대해 알아보겠다

맥 또는 리눅스

일단 SSH 로 GCP에 접근하기 위해서는 RSA key pair 를 생성해야 한다

맥 혹은 리눅스에서는 .ssh 폴더 안에 RSA key pair 가 생성이 된다

ssh-keygen -t rsa -f ~/.ssh/[KEY_FILE_NAME] -C "[USERNAME]" 

를 이용해서 RSA key pair를 생성할 수 있다

[KEY_FILE_NAME]에는 생성할 RSA의 KEY 파일 이름을 생성한다. 현재 등록되어진 KEY 파일이 있을 수도 있으니 현재 생성되어지지 않은 이름으로 생성한다 ex) rsa-gcp-key

[USERNAME]에는 현재 생성한 GCP의 메일 주소를 따옴표와 함께 입력한다 ex:) "noname@gmail.com"

위와 같이 입력하면  RSA key pair 가 생성이 된다

위와 같이 PW를 입력 하고 RSA KEY를 생성한다

이후 cat ~/.ssh/[KEY_FILE_NAME].pub 를 하여 생성된 RSA KEY 내용을 확인 할 수 있다

위 처럼 나온  RSA KEY PAIR의 내용을 복사해두자

복사해 둔  RSA KEY pair의 내용을 GCP VM instance의 메타데의터의 SSH 키에 복사 한다

위와 같이 나오면 SSH 키 추가를 하면 된다

위와 같이 입력하면 key 등록이 끝난다

입력이 끝나면 터미널에서 

ssh -i ~/.ssh/[KEY_FILE_NAME] [USERNAME]@외부IP 로 접속을 하면 된다

Windows

windows에서 ssh로 접속하기 위해서는 putty 를 사용하면 된다

일단 RSA KEY pair 를 만들어야 하는데 puttygen 을 사용해서 rsa key pair를 만든다

puttygen은 putty 홈페이지 아래쪽에 다운로드 링크 혹은 위에 puttygen을 클릭하면 다운로드를 받을 수 있다

위에 Generate를 누르고 빈 창에 마우스를 휘적휘적 흔들면 key가 만들어 진다

위 테스크 바 사이에서 마우스를 움직이면 key가 만들어진다

키가 만들어 지면 Key comment에 [USERNAME]을 입력하고 Generate를 누른다

Generate를 누르면 다시 태스크바가 나오고 위와 같은 화면이 다시 뜨는데 여기서 Key comment에 [USERNAME]을 다시 입력하고 위 Key 내용을 복사해둔다

그 후 아래 Save private key를 누르면 SSH에 접속할때 사용할 ppk파일이 생성이 되고 ppk 파일이 생성되면 같은 폴더에 Save public key 를 이용해 public key 도 생성을 해둔다

그후 GCP 사이트에서 아까와 마찬가지로 메타데이터 SSH 탭에 key 내용을 복사해 넣는다

이 창에 puttygen에서 만든 rsa를 추가 항목을 클릭하여 넣어주면 된다

그 후 putty를 실행하여 Host name에는 [USERNAME]@외부아이피를 입력하고

왼쪽 Connection 탭에서 SSH->auth를 클릭한다

그 이후 Private key file for authentication 에 Browser 를 클릭하여 생성된 ppk파일을 선택하고 Open을 클릭하면 된다

다음 포스팅은 Cuda 설치등 기본적인 세팅을 하는 법을 알아보도록 하겠다

딥러닝을 원활하게 하기 위해서는 성능이 좋은 gpu가 필요한데

개인적으로 gpu를 살 돈도 전기세도 안까운 사람들을 위해 "아마존"과 "구글"에서는 클라우드 플랫폼으로 gpu를 제공을 한다

오늘은 그 클라우드 플랫폼을 생성하여 gpu를 사용하는 것에 대해 살펴보려고 한다

일단 구글 클라우드 플랫폼(이하 gcp)를 생성하기 위해서는 신용카드(본인을 증명할 수 있는), 휴대폰 그리고 구글 계정이 필요하다

위에 준비물 들이 준비가 됐다면 https://cloud.google.com 로 이동을 해서  try it free 를 선택한다

필요한 내용에 동의를 하고 계정 유형 및 이름과 주소 그리고 결제 신용카드를 작성해 넣으면 가입이 완료가 된다

평가판은 12개월 동안 사용이 가능하며 클라우드 플랫폼을 실행할때 마다 청구되는 크레딧 300을 제공해 주기 때문에 무료로 사용이 가능하다

아마 가입을 다 하고 나오면 아래와 같은 창이 아마(?) 생성이 될것이다

여기 까지 하면 기본적인 GCP를 사용할 준비가 끝났다

GPU

우선 GPU 를 세팅을 해주어야 하는데

이 화면에서 Google Cloud Platform 옆에 -가 3개 있는 제품 및 서비스를 누르면 

위와 같이 할당량 탭을 확인 할 수 있다

클릭을 하면 위와 같은 화면을 볼 수 있다. 위 화면은 현재 할당되어진 VM instance의 내용이 표시가 된것인데 GPU는 할당이 안되것을 확인 할 수 있다.

현재 사용할 수 있는 GPU 는 P100과 K80이 있다 일단 K80으로 할당해보도록 하겠다.

위 화면에서 할당량 수정 버튼을 클릭 하고 asia-east1-a 의 K80을 찾아 클릭 하도록 한다

asia-northeast라고 되어 있는 곳을 클릭했지만 asia-northeast가 아니고 asia-east1-a를 클릭해야 한다

클릭을 하면 위와 같은 화면이 나오고 전화번호를 입력하는 창이 나오는데 불법을 저지르는 것이 아니니 전화번호를 입력하도록 한다

입력을 하면 위 같이 몇개의 GPU를 사용할 것이지 그리고 왜 내가 GPU를 써야 하는지에 대해 응답하게 돼있다

일단 1개의 GPU와 내가 왜.GPU써야 하는 지에 대해 서술하고 요청을 제출한다

요청을 제출하면 메일로 사용을 해도 된다는 메일이 올 것이다

위와 같은 메일이 온다면 할당에 성공한 것이다

다음 포스팅은 이 VM instance를 사용하는 방법에 대해 알아보도록 하겠다

프로젝트 생성

기본적인 GCP 사용준비가 끝났으면 사용방법에 따라 프로젝트를 생성하면 된다

맨 윗줄에 프로젝트 선택을 클릭하여 프로젝트를 생성한다 

적당한 이름을 작성해서 프로젝트를 생성한다

프로젝트를 생성하면 1~2분 정도 시간이 소요된 뒤 프로젝트가 만들어 진다

프로젝트가 만들어 지면 아래와 같이 생성이 될 것이다

프로젝트가 만들어 지면 VM instance를 생성 할 수 있다

VM 인스턴스를 클릭하면 위와 같은 화면이 나오면서 1~2분정도 시간이 소요된다는 메시지가 출력이 된다

만들기 버튼이 활성화 되면 클릭하여 VM instance를 생성한다

생성하는 instance의 이름, 영역 그리고 사용할 운영체제를 선택해준다

이름과 운영체제는 사용할 이름과 운영체제를 자유롭게 선택하면 된다. 현재 사용할 운영체제는 우분투16.04LTS를 선택했다

영역은 구글 클라우드가 설치돼있는 국가이다. 현재 위치는 asia-east1-a 를 선택했다.

만약 GPU를 생성하지 않았다면 아래 GPU 개수가 0으로 되어 있을 것이다

하드 용량은 얼마나 사용할지 미리 살짝 파악후 만들어 두는 것이 편합니다

10기가는 조금 부족한 감이 있습니다

네트워크 내용은 그냥 일단 자동으로 선택이 되는 내용으로 설정했다

이후 만들기를 선택하면 생성이 완료 된다

다음 포스팅은 ssh로 접속하는 방법가 사용할 몇몇 가지를 설치하는 것에 대해 포스팅할 예정이다