티스토리

Just Fighting

검색하기

블로그 홈

Just Fighting

yensr.tistory.com/m

yennle 님의 블로그입니다.

구독자: 5

방명록 방문하기

주요 글 목록

빈 이중배열과 주소값 빈 이중 배열을 미리 선언하고, 그 배열에 값을 하나씩 넣고자 했을 때 아래 코드를 사용했다. 그리고 그 결과는 다음과 같다. lli = [[]]*2 for i in range(2): for j in range(1,5): lli[i].append(j) print(lli) 내가 원하던 결과는 [[1,2,3,4,5],[1,2,3,4,5]]인데, 이렇게 나와서 이유를 찾아보니, 빈 배열인 경우에는 그 안에 포함된 모든 배열이 같은 주솟값을 갖는다고 한다. 이렇게 또 하나를 깨달았다..! 공감수 0 댓글수 0 2023. 7. 5.
[Python] 중복 순열 구하기 (product) 중복 순열을 구하고 싶을 땐, itertools의 product()를 사용한다. 한 배열에서 여러번 뽑은 순열을 만들거나 각각의 배열에서 하나씩 뽑은 순열을 만들고자 할 때, product()를 사용하면 된다 ! from itertools import product li = [1,2,3] list(product(li, repeat=2)) li1 = [1,2,3] li2 = [8,9] list(product(li1, li2)) li = [[1,2,3],[8,9]] list(product(*li)) 공감수 0 댓글수 0 2022. 11. 30.
datetime 함수 정리 import datetime datetime형식으로 데이터를 만들어주는 함수 datetime.datetime(연도, 월, 일, 시, 분, 초) 문자열로 된 날짜/시간 데이터를 datetime 형식으로 만들어주는 함수 datetime.datetime.strptime(문자열, '포맷') datetime형식을 timestamp형식으로 바꿔주는 함수 a = datetime.datetime(연도, 월, 일, 시, 분, 초) a.timestamp() timestamp 형식의 값을 datetime형식으로 바꿔주는 형식 datetime.datetime.fromtimestamp(숫자) 공감수 0 댓글수 0 2022. 10. 20.
[Python] Joblib으로 객체 저장하기 import joblib filename = '파일명.확장자' joblib.dump(객체, filename) loaded_model = joblib.load(filename) --- 10/11 추가 joblib.dump(함수명, '파일명.확장자') # 예시 joblib.dump(func1, 'func1.func') joblib.load('파일명.확장자')(매개변수) # 예시 joblib.load('func1.func')(30) 함수에 숫자가 들어가는데 비슷한 함수를 여러 개 저장하고 싶으면 eval() 사용 eval(f'func{i}') # 예시 joblib.dump(eval(f'func{i}'), f'func{i}.f.. 공감수 0 댓글수 0 2022. 9. 29.
[EDA] 데이터 내용 살펴보기 https://kevinprinsloo.medium.com/advanced-eda-e6fea0193dbd Advanced_EDA Becoming inherently familiar with a new dataset can be challenging and time consuming. However, an in-depth and broad exploratory data analysis (EDA) can help a lot to understand your dataset, get a… kevinprinsloo.medium.com 2022.07.17 - [Python] - [EDA] 데이터 정제하기 데이터를 정제한 뒤 완성된 데이터를 이제 살펴보자. 모든 수치형 컬럼의 히스토그램을 한번에 그릴 수 있다. # .. 공감수 0 댓글수 0 2022. 7. 17.
[EDA] 데이터 정제하기 https://kevinprinsloo.medium.com/advanced-eda-e6fea0193dbd Advanced_EDA Becoming inherently familiar with a new dataset can be challenging and time consuming. However, an in-depth and broad exploratory data analysis (EDA) can help a lot to understand your dataset, get a… kevinprinsloo.medium.com 2022.07.17 - [Python] - [EDA] 데이터 구조 살펴보기 데이터 구조를 살펴보았으니 이번에는 데이터의 중복값과 결측치들을 제거해 데이터를 분석하기 좋은 데이터로 만.. 공감수 0 댓글수 0 2022. 7. 17.
[EDA] 데이터 구조 살펴보기 아래 링크 속 내용을 참고하여 파이썬으로 EDA(탐색적 데이터 분석)을 하는 여러가지 방법을 익힐 수 있었다. 기본적인 부분부터 다양하게 데이터를 시각화하는 부분까지 다룰 수 있었다. 그 내용을 정리해 보고자 한다. https://kevinprinsloo.medium.com/advanced-eda-e6fea0193dbd Advanced_EDA Becoming inherently familiar with a new dataset can be challenging and time consuming. However, an in-depth and broad exploratory data analysis (EDA) can help a lot to understand your dataset, get a… kevin.. 공감수 0 댓글수 0 2022. 7. 17.
[Flask] API 서버 구축하기 & httpie 사용하기 파이참을 이용해 api를 만들기 위해 연습을 했다. 2022.01.19 - [Web/백엔드] - API 만들기 이전에 작성했던 것과 비슷하지만 이번에는 cmd창을 이용해 api를 테스트해 보았다. 프로젝트를 만들 때 가장 중요한 것이 저 venv이다. 가상환경이 꼭 필요하다. 설정을 건드리지만 않는다면 자동으로 만들어진다. 아래 사진과 같이 app.py를 하나 작성한다. from flask import Flask app = Flask(__name__) @app.route('/') def home(): return 'This is Home!' @app.route("/ping", methods=['GET']) def ping(): return "pong" if __name__ == '__main__': ap.. 공감수 0 댓글수 0 2022. 7. 1.
트위터 API 사용하기 먼저 tweepy 설치를 먼저 해준다. cmd창을 관리자 권한으로 실행한뒤 다음 코드를 입력한다. pip install tweepy 오류가 나서 서치를 해보니까 아래 코드를 넣어주어야 한다고 함. pip install tweepy --use-feature=2020-resolver 나는 쥬피터 노트북을 사용했다. 트위터 API를 사용하기 위해서는 트위터에게 신청을 해야한다. (그 과정은 생략하겠다) 신청을 하면 여러가지 key와 토큰을 주는데 그것들을 잘 보관해두어야 한다. 아래 주소에 들어가보면 각종 언어에서 사용할 수 있는 라이브러리 목록을 제공한다. 나는 파이썬을 사용했고, 그중에서 tweepy를 사용했다. https://developer.twitter.com/en/docs/twitter-api/to.. 공감수 0 댓글수 0 2022. 6. 18.
[Python] map() 사용하기 최근에 백준 문제를 파이썬으로 풀면서 map()함수를 자주 사용하게 되었다. 그래서 map()함수의 쓰임에 대해서 정리해보고자 한다. map()의 매개변수는 다음과 같다. 함수를 넣고, 그 함수를 적용할 리스트, 셋, 튜플 등을 넣어주면 된다. map(function, iterable, ...) 리스트에 들어있는 숫자들을 문자로 바꿔주고 싶다면 아래 처럼 사용하면 된다. str함수를 temp의 원소에 사용하겠다는 의미 그리고 list()해주어야 리스트의 형태로 만들어진다. 직접 만든 함수도 사용 가능하다. temp = [1,2,3,4] temp2 = list(map(str,temp)) temp2 람다 함수를 이용할 수도 있다! temp = [1,2,3,4] temp2 = list(map(lambda x .. 공감수 0 댓글수 0 2022. 5. 24.
세 개 이상의 데이터 프레임 합치기(reduce) 세 개 이상의 데이터 프레임을 합치기 위해 검색을 해봤더니 reduce함수를 사용해야 한다고 해서 찾아보고 연습해보았다. https://docs.python.org/3/library/functools.html?highlight=reduce#functools.reduce functools — Higher-order functions and operations on callable objects — Python 3.10.4 documentation functools — Higher-order functions and operations on callable objects Source code: Lib/functools.py The functools module is for higher-order functi.. 공감수 1 댓글수 0 2022. 5. 4.
결측값 처리하기 2 (평균, 중앙값) 이전에 결측값 처리하는 게시물을 작성했던 적이 있다. 그때는 이제 결측값이 있는 행을 지우고, 남은 결측값에 하나의 값을 넣어주었다. 2022.02.13 - [Statistics/Python] - 결측값 처리하기 이번에는 열의 평균값이나 중앙값으로 변경하는 방법에 대해 정리하려고 한다. 먼저 numpy와 pandas 임포트부터! 아래 사진과 같은 데이터를 이용해 결측값을 처리해보는 연습을 했다. import numpy as np import pandas as pd 결측값을 대체하기 전에 먼저 평균과 중앙값을 구하는 코드를 보자. 아래 사진을 보면 평균을 구하는 코드에는 NaN값이 있어도 잘 계산이 되지만 중앙값을 구할 때는 계산이 되지 않는 것을 볼 수 있다. 그때 사용할 수 있는 함수가 nanmedia.. 공감수 0 댓글수 0 2022. 3. 23.
[Python] Counter() 이용해 카운트 하기 배열 속에 있는 특정 숫자나 문자의 개수를 세고싶을 때는 딕셔너리를 하나 만들고 for문을 돌려서 그 글자가 딕셔너리에 있으면 +1 없으면 =1 해주면 되지만, 그것을 더욱 편하게 만들어 줄 수 있는 함수가 있다!!!!!!! collections라는 라이브러리에 들어있는 Counter()라는 함수다. 코테 문제를 풀때 몇번 이용했었는데, 계속 까먹어서 블로그에 올린다. 먼저 라이브러리 임포트 해준뒤에 아무 숫자나 막 쳐서 함수에 적용시켜 보았다. 아래 사진처럼 예쁘게 딕셔너리에 담겨있는 것을 확인할 수 있다~! import collections data = [2,5,4,5,2,1,5,4,3,2,1,8,7,8,5,1,6,2,1,8,7,8] collections.Counter(data) 여기서 가장 많은 숫.. 공감수 0 댓글수 0 2022. 3. 17.
[Python] 크롤링한 데이터 csv로 변환하기 2022.02.08 - [Web/백엔드] - 웹 크롤링하기 2 (Selenium) 위의 게시글에서 사용한 selenium을 사용한 크롤링을 통해 데이터를 수집할 수 있었다. 이번엔 csv파일로 변환하는 작업을 해보았다. 먼저 라이브러리부터 import해준다. 그리고 크롬드라이브의 위치를 지정해준다. from selenium import webdriver from selenium.webdriver.common.by import By import pandas as pd browser = webdriver.Chrome('c:/chromedriver/chromedriver.exe') # chromedriver 다운받고, 다운 받은 경로 써주어야함 그리고 컬럼별로 list를 만들어준 뒤, 크롤링을 통해 가져온 데.. 공감수 0 댓글수 0 2022. 3. 1.
결측값 처리하기 데이터프레임.isnull().sum() # 결측치가 있는 행 삭제 데이터프레임.dropna() # 결측치가 있는 열 삭제 데이터프레임.dropna(axis=1) # 결측치가 아닌 값이 N개 미만인 행 삭제 데이터프레임.dropna(thresh=N) 데이터프레임.fillna(값) 공감수 0 댓글수 0 2022. 2. 13.
웹 크롤링하기 2 (Selenium) BeautifulSoup을 이용한 웹 크롤링을 했을 때, 잘 되지 않는 부분을 해결하기 위해 Selenium을 사용해 크롤링을 해보았다. BeautifulSoup을 이용한 크롤링 링크 ▼ 2022.01.12 - [Web/백엔드] - 웹 크롤링하기 from selenium import webdriver search_url = "크롤링할 사이트 url" browser = webdriver.Chrome('크롬드라이버 위치') # chromedriver 다운받고, 다운 받은 경로 써주어야함 browser.get(search_url) browser.implicitly_wait(2) ''' 크롤링 코드 ''' browser.close() 이 코드가 틀이되는 코드라고 할 수 있다. 크롬드라이버를 다운받고, 크롤링할 .. 공감수 0 댓글수 0 2022. 2. 8.
데이터 합치기 (concat, merge, join) 데이터를 위아래로 연결하고 싶을 때 사용한다. 즉, 데이터들의 컬럼이 같고, 행을 추가하는 방식이다. import pandas as pd pd.concat([데이터1, 데이터2, 데이터3]) 데이터를 특정 컬럼을 기준으로 옆으로 합치고 싶을 때 사용한다. pd.merge(데이터1, 데이터2, on='컬럼', how='방법') pd.merge(데이터1, 데이터2, on=['컬럼1', '컬럼2', '컬럼3'], how='방법') # 데이터의 컬럼명이 다를 경우 사용 pd.merge(데이터1, 데이터2, left_on='컬럼1', right_on='컬럼1*', how='방법') 추후에,, 공감수 0 댓글수 0 2022. 2. 7.
데이터 재구조화하기 (melt, pivot) 데이터 분석을 하기 위해 데이터의 구조를 변경해야할 때 melt와 pivot 함수를 사용하면된다. 처음에 검색 안하고 혼자 해보려다가 아주 시간 낭비했다*^^* 가로의 데이터를 세로로 바꾸는 함수이다. 컬럼명을 값으로 바꿔서 아래로 데이터를 줄세우는 방식이다. 데이터프레임.melt(id_vars=기준컬럼, value_vars=기존컬럼, var_name=컬럼의컬럼명, value_name=값의컬럼명) 이 함수는 melt()와 정반대인 함수로, 세로로 된 데이터를 가로로 바꾸어주는 함수이다. 데이터프레임.pivot(index=기준컬럼, columns=컬럼이될컬럼, values=값이될컬럼) 공감수 3 댓글수 0 2022. 2. 2.
matplotlib 이용해 다양한 그래프 그리기 저번에 다양한 데이터 타입과 라이브러리로 막대 그래프를 그리는 방법을 정리했었다. 2022.01.27 - [Statistics/Python] - 데이터 타입 별 barplot 그리기 이번에는 matplotlib의 다양한 함수들을 이용하여 막대그래프가 아닌 다른 그래프들을 그리는 방법을 정리하고자 한다. 먼저 라이브러리를 import 해준다. 그리고 그래프에 한글을 넣기 위해서 아래 코드도 필요하다. import matplotlib.pyplot as plt import matplotlib # 한글깨지는 현상 해결 matplotlib.rcParams['font.family'] ='Malgun Gothic' matplotlib.rcParams['axes.unicode_minus'] =False plt.plot.. 공감수 0 댓글수 0 2022. 1. 31.
[Python] 딕셔너리 정렬 딕셔너리는 sort()로 정렬할 수 없으며, sorted()함수를 사용하여 정렬한다. key 리스트 반환 ① key 기준으로 정렬 dic = {'A':1, 'C':4, 'B':2, 'D':3} dic2 = sorted(dic) ② value 기준으로 정렬 dic = {'A':1, 'C':4, 'B':2} dic2 = sorted(dic, key = lambda x : dic[x]) items() 이용한 정렬 ① key 기준 정렬 dic = {'A':1, 'B':3, 'C':2} dic1 = sorted(dic.items())# 리스트 dic2 = dict(sorted(dic.items()))# 딕셔너리 단, sorted는 list를 반환하기 때문에 딕셔너리를 만들고 싶다면 dict()를 사용해야함. ② .. 공감수 0 댓글수 0 2022. 1. 31.
데이터 타입 별 barplot 그리기 import pandas as pd serise명.plot(kind='bar') 예시▼ 더보기 import matplotlib.pyplot as plt import matplotlib plt.bar(dataframe명['칼럼이름'], dataframe명['컬럼이름']) 예시▼ 더보기 import seaborn as sns sns.barplot(x="컬럼이름", y="컬럼이름", data=dataframe명) 예시▼ 더보기 import seaborn as sns sns.barplot(x="컬럼이름", y="컬럼이름", hue="컬럼이름", data=dataframe명) 예시▼ 더보기 공감수 0 댓글수 0 2022. 1. 27.
GroupBy 사용하기 groupby() 함수는 그룹별로 묶어서 데이터에 대한 정보를 얻고 싶을 때 사용한다. 그룹별 합계, 그룹별 평균 등 원하는 데이터를 얻을 수 있다. 사용할 데이터는 지역과 업무 구분별로 계약건수와 계약금액을 나타낸 데이터이다. 지역별 건수의 합계를 구해보자. 지역별 건수의 평균을 구해보자. 지역별 건수의 평균, 최댓값, 최솟값, 합계를 한번에 구해보자. 지역별 건수의 합계를 내림차순으로 정렬해보자. 위에 정렬한 데이터를 시각화해보자. # 표를 그리기 위해서 꼭 실행시켜야함 import matplotlib.pyplot as plt import matplotlib # 한글깨지는 현상 해결 matplotlib.rcParams['font.family'] ='Malgun Gothic' matplotlib.rcP.. 공감수 0 댓글수 0 2022. 1. 24.
데이터 필터링하기 데이터를 다룰 때 필요한 데이터를 걸러내는 것도 중요하다! 그동안 써봤던 방법들을 기술해보려고 한다. 아래와 같은 데이터를 이용해서 데이터 필터링을 연습하자. 각 변수의 데이터 타입은 다음과 같다. 계약년도가 2019인 데이터만 뽑아보자. 계약년도 2019년이면서 기업구분이 중소기업인 데이터만 뽑아보자. 위 데이터에서 계약년도, 계약년월, 건수, 금액만 뽑아보자. 위와 같은 방법으로 원하는 데이터를 만들 수 있지만, loc 함수와 iloc 함수를 사용해도 된다! 공감수 0 댓글수 0 2022. 1. 24.
데이터 살펴보기 앞서 csv 파일에 저장된 데이터를 불러오는 것까지 했다. 이제 데이터가 어떤 형식으로 되어있고, 어떤 값들을 가지는 지에 대해 알아보자! csv 파일로 불러온 데이터는 DataFrame의 형식을 갖는다. DataFrame은 엑셀과 같은 형식을 가지며, 데이터를 변환하고 가공하기 쉽게 도와준다. (위 사진 참고) head()는 데이터의 일부만 보여주는 함수로 디폴트값이 5이기 때문에 5개의 데이터만을 보여준다. 괄호 안에 숫자를 써 넣으면 원하는 개수의 행을 볼 수 있다. 또한 tail()이라는 함수가 있는데, 이 함수는 반대로 맨 밑에있는 데이터부터 보여준다. 위 데이터 같은 경우 인덱스를 따로 지정하지 않아 0부터 215의 값을 가지는 것을 알 수 있다. 데이터에 결측값(null)이 있는지 없는지 볼.. 공감수 0 댓글수 0 2022. 1. 14.
CSV 파일 불러오기 데이터를 분석하기에 앞서 먼저 데이터를 불러오는 방법에 대해 알아야한다. 대부분의 데이터를 csv파일로 저장하여 사용하기 때문에 csv파일 불러오는 방법에 대해 알아보자. import pandas as pd data = pd.read_csv('파일명') 다음과 같은 코드를 사용하면 된다. pandas는 데이터 분석을 하기 위한 라이브러리로, 파이썬으로 데이터분석을 하고자 할 때 아주 유용한 라이브러리이다. '파일명'에는 파일의 이름이 들어가면 된다. 같은 폴더에 있는 파일인 경우 이름만 써주면 되지만, 다른 폴더에 있을 경우에는 경로를 함께 써주어야 한다. 위와 같은 코드를 이용하여 csv파일을 불러왔는데 오류가 난다! 이럴 때는 encoding 방식을 'cp949'나 'euc-kr'로 지정해주면 된다... 공감수 0 댓글수 0 2022. 1. 14.
웹 크롤링하기 먼저 requests와 bs4 라이브러리를 설치해야한다. 라이브러리 설치에는 두가지 방법이 있다. ① 터미널에서 설치하기 ② File > Settings > Project > python Interpreter에서 라이브러리를 설치하면 된다. + 버튼을 눌러서 필요한 라이브러리를 설치하면 된다. import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('크롤링하고 싶은 홈페이지',headers=.. 공감수 0 댓글수 0 2022. 1. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.