Data Vision

공공데이터 포털의 데이터를 사용함. https://www.data.go.kr/data/15066129/fileData.do data = pd.read_csv('/mnt/data/서울특별시 강서구_공동주택 현황_20230905.csv', encoding='cp949') data.head() 연번 구분 단 지 명 동명 번지수 도로명주소 우편번호 층수별 동수 평형별 \ 0 1 NaN 강변삼천리 염창동 70-20 양천로67길 71-16 7535 15 1 28 32 1 2 의무 강변한솔솔파크 염창동 300 양천로63길 38 7546 11~25 8 32 33 2 3 의무 강변힐스테이트 염창동 299 양천로75길 19 7541 11~23 7 24 33 3 4 의무 관음삼성 염창동 268외3필지 양천로 656 7554..

기본적인 정보를 확인해보겠습니다. import pandas as pd data = pd.read_csv('GlobalWeatherRepository.csv') data.head() country location_name latitude longitude timezone \ 0 Afghanistan Kabul 34.52 69.18 Asia/Kabul 1 Albania Tirana 41.33 19.82 Europe/Tirane 2 Algeria Algiers 36.76 3.05 Africa/Algiers 3 Andorra Andorra La Vella 42.50 1.52 Europe/Andorra 4 Angola Luanda -8.84 13.23 Africa/Luanda last_updated_epoch l..

텐서플로우(Tensorflow)로 ANN (DNN) 을 만들고, 최적의 모델을 찾기 위해서 GridSearchCV 를 이용한다. 먼저 모델을 만드는 함수를 작성한다. 함수의 파라미터로, 옵티마이저(optimizer)를 받는다. def build_classifier(optimizer): classifier = Sequential() classifier.add(Dense(units = 6, activation = 'relu', input_dim = 11)) classifier.add(Dense(units = 6, activation = 'relu')) classifier.add(Dense(units = 1, activation = 'sigmoid')) classifier.compile(optimizer = ..

딥러닝 학습을 하면서, 각 에포크 마다의 밸리데이션 값을 확인해야 오버핏팅 ( Overfitting )이 있는지 눈으로 확인할 수 있다. 에포크(epoch)마다의 학습(training)과 밸리데이션(validation) 히스토리(history)를 저장하여, 학습 커브를 그려본다. 분류의 문제에서 loss 와 accuracy 를 확인하는데, train loss / validataion loss 와 train accuracy / validation accuracy 를 확인한다. 이를 함수로 작성해 놓고 사용하면 된다. def learning_curve(history, epoch): plt.figure(figsize=(10,5)) # 정확도 차트 epoch_range = np.arange(1, epoch + ..

Tensoflow를 사용하다보면, 모델을 생성하고, 학습을 하게 된 후, 나중에 이를 다른 기기나 서버 등으로 옮겨서 배포하게 된다. 이때 모델 과 학습이 끝난 weight(가중치)를 파일로 저장하고 불러올 수 있는 방법이다. 0. 전체 모델과 웨이트를 h5파일로 통째로 저장하고 불러오기 1. 전체 모델과 웨이트를 폴더구조로 통째로 편하게 처리 : ( 이때는 컴파일을 할 필요 없이 바로 사용 가능! ) 2. 네트워크의 구조(모델) 만 저장하고 불러오기 3. 네트워크의 가중치를 저장하고 불러오기 : 이때는 컴파일을 꼭 해줘야 사용이 가능함! 4. 스케일러 등을 저장하고 불러오기 : joblib 라이브러리를 이용한다!

주피터 노트북이나, 구글 colab 에서 캐글(kaggle)이 API 를 사용하여, 데이터셋 가져 오는 방법 1. 캐글 사이트에 로그인 한 후, 오른쪽 프로필 아이콘을 누른다. 2. Account 버튼을 누른다. 3. 중간 쯤에, API 항목이 있다. 여기서 Create New API Token 버튼을 눌러서, kaggle.json 파일을 다운로드 받는다. 위의에 kaggle.json 파일을 다운로드 받았으면, 이제 캐글 사이트는 닫아도 된다. 이제는, 주피터 노트북이나 구글 Colab에서, 캐글의 API 를 사용할 수 있도록 아래처럼 셋팅한다. 4. 아래처럼, 주피터 노트북이나 구글 Colab에서, 캐글을 사용할 수 있도록 셋팅한다. 5. 위의 3번에서 다운로드 받은, kaggle.json 파일을 업로..

잘 모르면 Adam 을 사용하면 됩니다. 출처 : https://www.slideshare.net/yongho/ss-79607172

Google Colab 에서 Google Drive 에 저장된 csv 파일을 pd.read_csv 로 파일 경로 읽기 파이썬 데이터마이닝 및 머신러닝을 통한 인공지능 만들기 위한 환경 1. 코랩에서 드라이브 라이브러리 임포트 한다. 2. 드라이브 사용을 위한 mount 실행 한 후, 링크를 클릭한다. 3. 드라이브 억세스 할 수 있도록 계정을 선택한다. 4. 권한을 허용한다. 5. 코드 복사한 후에, 6. 빈칸에 넣고, 엔터를 친다. 7. Colab 에서 왼쪽의 네모 아이콘 누르고, 드라이브 파일 보기 8. 드라이브 폴더 열어서 원하는 파일 찾기 9. 원하는 csv 파일에서, 마우스 우 클릭하여, 경로 복사 선택 10. 파일 경로를 붙여넣고, 실행하면 된다. 11. 위의 10번처럼 매번 파일의 절대경로 ..

아나콘다가 설치가 되어있고 크롬 브라우저가, 메인 브라우저로 설정되어 있는 경우에, 주피터 노트북을 실행하는 방법입니다. 1. 아래 윈도우 검색창에 "ana" 라고 입력하면 2. 왼쪽 상단에 "Anaconda Prompt (anaconda3) 라고 나오면, 이 앱을 클릭하여 실행한다. 3. 아래처럼 화면이 실행되면, 닫지 말고, 4번 설명대로 진행한다. 4. 깃허브(강의 사이트)로 이동하여, 코드를 다운로드 한다. 5. 압축파일을 문서 폴더에 푼다. 6. 압축을 푼 경로를 복사한다. 7. 위에서 실행한 "Anaconda Prompt" 에, 다음처럼 입력하고, 엔터를 친다. 8. 엔터입력한 밑에, 다음처럼 주피터 노트북을 실행한다. 9. 아래처럼 크롬 브라우저에서 열리면 끝!

파이썬 머신러닝을 통한 데이터 마이닝의 필수인 google colab 환경 설정 1. 구글 계정 생성하여 지메일 로그인 https://gmail.com 으로 이동하여, 구글 계정을 생성하고 지메일 로그인 한다. 이미 계정이 있으면, 지메일에 로그인 한다. 2. 구글 코랩 google colab 사이트로 이동 (구글 로그인) "Google 드라이브" 탭을 선택하고, 테스트로 "새노트" 클릭하여, 파일 하나 만들어보자. 잘 만들어지면 다 되었다. 3. 구글드라이브를 실행 지메일의 우측 상단의 점9개 모양을 클릭 아래 앱들 중에서, 드라이브 앱을 클릭한다 4. 구글 드라이브에서, 실습을 위한 "새폴더" 새로 생성 새로만들기 - 새폴더 선택 "python" 이라는 폴더 생성 5. 깃허브 사이트로 이동하여, 코드..