google colab

colab

google에서 제공하는 python을 위한 클라우드 기반 코딩 플랫폼
장점

Jupyter notebook 등 설치나 환경설정이 필요없다!
어지간한 패키지는 이미 깔려있고, 없더라도 설치가 쉬움
파일 공유를 통한 협업 가능
Jupyter notebook과 비슷한 생김새
한 번에 최대 12시간 동안 GPU를 쓸 수 있다!
공짜다!!!!
단점
분석을 위한 데이터를 조금 다른 방식으로 load 해줘야 한다.

즉, colab은 엄청 좋은거니까 유일한 단점을 극뽁!해보쟈!

일반사양확인

!df -h  # 하드디스크 : /etc/hosts에서 Use%와 Available을 읽으면 사용자에게 배정된 디스크 용량과 사용가능한 용량을 확인할 수 있다.

!cat /proc/meminfo  # 메모리

!cat /proc/cpuinfo  # CPU : 듀얼코어 CPU @ 2.20GHz

GPU, TPU 사양 확인

간단한 설정으로 딥러닝 분석을 위하여 GPU(Graphic Processing Unit), TPU(Tensor Processing Unit)를 사용할 수 있다. 런타임 - 런타임유형변경 - 하드웨어 가속기에서 GPU 또는 TPU 선택

import tensorflow as tf
print(tf.__version__) # 텐서플로우 버전 : 1.15.0

Colab에서 CSV file load

~~URL로 가져오기 (25mb 이하)~~ « 안되는뎁?
Local drive에서 가져오기
Google drive에서 가져오기 (100mb 이상)

1. URL로 가져오기 (25mb 이하)

예제 데이터를 사용하는 거라 github에 게시되어 있거나, 데이터를 url로 제공하는 경우, url을 이용하여 바로 가져올 수 있다…고 봤는데 안된다.

path = 'https://github.com/seoul-opengov/opengov/edit/master/public_list2018/20180801_20180831_public_list.csv'
data = pd.read_csv(path)
print(data)

2. Local Drive에서 가져오기

### 1) 아래 코드 실행 시 업로드할 파일 선택 가능 
from google.colab import files
uploaded = files.upload()

### 2) 업로드한 파일을 불러오기
import io
import pandas as pd
data = pd.read_csv(io.BytesIO(uploaded['홍길동.csv'].decode('utf-8')))  # 1)단계에서 선택한 파일의 이름을 지정

### 3) 파일 확인
print(data)

3. Google drive에서 가져오기 (100mb 이상)

### 1) 구글 드라이브 마운트
from google.colab import drive
drive.mount('/content/gdrive')
# Google Drive로 접근하기 위한 Autorization이 필요할 때는 링크를 눌러서 verification code 받기

### 2) 원하는 위치에 있는 파일을 불러오기
path = '/content/gdrive/My Drive/Colab Notebooks/'  # 원하는 파일의 위치
file = '홍길동.csv'  # 원하는 파일 제목
data = pd.read_csv(path + file)

### 3) 파일 확인
print(data)

코기 모드 & 아기고양이 모드

귀요미들과 함께 코드를 작성하고 싶다면, 도구 - 설정 - 기타 - check on 모드 & select some power or super power

깃헙 예제파일을 Colab으로 Clone

# 아래와 같이 손쉽게 가능:)
!git clone "https://github.com/FinanceData/marcap.git" marcap

참고자료 [1] https://medium.com/@master_yi/importing-datasets-in-google-colab-c816fc654f97
[2] https://towardsdatascience.com/3-ways-to-load-csv-files-into-colab-7c14fcbdcb92
[3] https://github.com/FinanceData/marcap/wiki/Q:-%EA%B5%AC%EA%B8%80-Colab-marcap-%EC%A0%84%EC%B2%B4-CSV-%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C

더 나은 나를 위한 노력

14 Jan 2020 | data read_csv csv colab