5.2 업종 테마 데이터 전처리-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "N1aXMBB33W3h"
   },
   "source": [
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/finance-data-analysis/blob/main/5.2%20%EC%97%85%EC%A2%85%20%ED%85%8C%EB%A7%88%20%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%A0%84%EC%B2%98%EB%A6%AC-input.ipynb)\n",
    "\n",
    "## 업종/테마 전처리 미션확인\n",
    "\n",
    "* 팀장님이 우리 회사와 유사한 업종과 테마로 사업을 하고 있는 종목을 수집해서 분석해 달라는 미션을 주셨습니다.\n",
    "* 코스피에서 해당 업종 혹은 테마의 시가총액이 가장 많은 종목을 찾아주세요.\n",
    "* 해당 업종/테마의 거래량이 가장 많은 종목을 찾아주세요.\n",
    "* 최근 52주 최고가에서 현재가 기준으로 가장 손실이 크게 난 종목은 어떤 종목일까요?\n",
    "* 거래대금이 20위 안에 있는 코스피 종목 중에 \"PER\"가 가장 낮은 종목은 무엇일까요?\n",
    "\n",
    "\n",
    "### 주요 업종/테마\n",
    "\n",
    "* 실습에 참고해 보세요.\n",
    "* 제약 업종 : https://finance.naver.com/sise/sise_group_detail.nhn?type=upjong&no=35\n",
    "* 의료기기 : https://finance.naver.com/sise/sise_group_detail.nhn?type=theme&no=175\n",
    "* 코로나19(덱사메타손) : https://finance.naver.com/sise/sise_group_detail.nhn?type=theme&no=442\n",
    "* 제약업체 : https://finance.naver.com/sise/sise_group_detail.nhn?type=theme&no=172\n",
    "* 바이오시밀러(복제 바이오의약품) : https://finance.naver.com/sise/sise_group_detail.nhn?type=theme&no=241"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "kgkrSMtY3W3h"
   },
   "outputs": [],
   "source": [
    "# 라이브러리 로드하기 : 데이터 분석을 위한 pandas, 수치계산을 위한 numpy\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "CKsCqpoA3W3i",
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 4.업종/테마주 수집시에 저장해 두었던 csv 파일을 다시 읽어옵니다.\n",
    "# 'upjong_no_35_연-월-일.csv'\n",
    "# 종목코드는 꼭 문자형태로 불러옵니다. dtype={\"종목코드\":np.object}\n",
    "file_name = \"upjong_no_35_2021-01-09.csv\"\n",
    "# raw "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 미리보기 합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 전체 컬럼 출력하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전체 컬럼이 출력되도록 display 설정을 변경합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전체 컬럼이 보이는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "zLTrJOYZ3W3i"
   },
   "outputs": [],
   "source": [
    "# DataFrame의 column만 따로 봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 결측치"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결측치의 합계를 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결측치의 비율을 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결측치 제거 전에 행과 열의 수를 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전체가 결측치인 컬럼은 삭제 합니다.\n",
    "# df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 삭제된 컬럼의 수를 계산해 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# info를 통해 결측치 데이터 타입을 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "G5Xlnb_63W3i"
   },
   "source": [
    "## 파생변수 만들기와 텍스트 데이터 다루기\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/05_newcolumn_1.svg\">\n",
    "\n",
    "* 코스피/코스닥 구분 만들기\n",
    "* 시가총액 순위 분리하기\n",
    "* 액면가l매매단위\n",
    "* 52주최고l최저"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 코스피/코스닥 컬럼 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# \"코스피/코스닥\" 컬럼을 만듭니다.\n",
    "#  * 는 코스닥 종목입니다. str.endswith 를 사용합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"코스피/코스닥\" 빈도수를 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "nj3Jra_t3W3i"
   },
   "source": [
    "###  시가총액 수치형태로 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "CFR4cSkh3W3i"
   },
   "outputs": [],
   "source": [
    "# or를 의미하는 | 는 엔터키 위에 있는 키를 shift키를 누르면 나옵니다.\n",
    "# df['시가총액(억원)']\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* [정규 표현식 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%ED%91%9C%ED%98%84%EC%8B%9D)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식을 사용한 숫자 추출\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 시가총액 순위 수치데이터로 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "eP5Tsc5E3W3i",
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# split을 사용하는 방법\n",
    "# '시가총액순위(전처리)' column에서도 '위'를 빼고 수치데이터로 변경합니다.\n",
    "# df[\"시가총액순위(전처리)\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식을 사용하는 방법도 있습니다. \n",
    "# 숫자를 제외한 문자는 빈문자\"\"로 변경하도록 합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 52주최고l최저 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "6nL6aqa43W3i"
   },
   "outputs": [],
   "source": [
    "# '52주최고l최저' => 52주최고, 52주최저 두 개의  컬럼으로 나누어 전처리 합니다.\n",
    "# df[\"52주최고\"]\n",
    "# df[\"52주최저\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "nHELWCTs3W3i"
   },
   "outputs": [],
   "source": [
    "# 일부 column들을 수치형 데이터로 바꿀수 있도록 ','와 같은 문자들을 없애고\n",
    "# 새로운 column에 수치형 데이터로 입력합니다.\n",
    "# 이런 수치형 데이터의 column들로 새로운 데이터 column들을 생성합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "nHELWCTs3W3i"
   },
   "outputs": [],
   "source": [
    "# 52주차액: 52주최고 - 52주최저 \n",
    "# 52주차액비율 : 52주최고 / 52주최저 \n",
    "# df[\"52주차액\"]\n",
    "# df[\"52주차액비율\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "nHELWCTs3W3i"
   },
   "outputs": [],
   "source": [
    "# 현재-최고가 : 현재가 - 52주최고\n",
    "# 현재/최고가비율 : 현재가 / 52주최고\n",
    "# df[\"현재-최고가\"]\n",
    "# df[\"현재/최고가비율\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[[\"종목명\", \"52주차액\", \"52주차액비율\", \"52주최고\", \"52주최저\", \"현재-최고가\", \"현재/최고가비율\"]].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 투자의견l목표주가 astype과 to_numeric"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# '투자의견l목표주가' => 투자의견, 매수매도, 목표주가 컬럼으로 나누어 전처리 합니다.\n",
    "# df[\"목표주가\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[\"투자의견\"]\n",
    "# df[\"매수매도\"]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[\"투자의견\"].astype(float)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 투자의견의 수치만 pd.to_numeric 으로 숫자로 만들기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 투자의견 컬럼만 가져와서 describe로 기술통계 값을 봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 데이터 타입 변경하기\n",
    "* \"동일업종 PER 컬럼\"에서 \"배\" 문자를 제거하고 수치 변수로 변환해 주세요.\n",
    "* 전처리 결괏값은 df[\"동일업종 PER(배)\"]라는 컬럼에 담아주세요"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"동일업종 PER\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"동일업종 PER 컬럼\"에서 \"배\" 문자를 제거하고 수치 변수로 변환해 주세요.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# str.replace, astype를 이용하면 쉽게 해결할 수 있습니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## filter와 melt로 여러 컬럼 전처리하기\n",
    "\n",
    "### PER와 EPS \n",
    "\n",
    "#### PER 주가수익비율\n",
    "\n",
    "* \"이 주식은 비싼가, 주식시장이 거품인가\" 판단하는 시금석\n",
    "* PER = 주식가격 / 주당순이익(EPS)\n",
    "\n",
    "물건을 살 때 값을 얼마나 줘야 좋은 건지 판단할 기준은 수없이 많다. 내게 얼마나 절실한가. 이 물건이 얼마나 유용하고 값어치가 있나. 혹은 어느 정도나 오래 사용할 수 있나. 물건에 대한 다른 사람들의 평판은 어떤가. 물건이 내게 주는 수익은 어느 정도인가…. 생각해보면 쉽게 떠오르는 이런저런 이유들은 어려운 주식투자나, 투자결정에도 그대로 적용된다.\n",
    "\n",
    "이런 점에서 흔히 투자자들 사이에서 `퍼(PER)`로 불리는 **주가수익비율(Price earning ratio, 이하 PER)**은 어떤 회사의 주식가치, 더 나아가 전체 주식시장의 가치가 고평가 됐는지 가늠할 수 있는 유용한 잣대다. **PER은 현재 시장에서 매매되는 특정회사의 주식가격을 주당순이익으로 나눈 값을 말한다.** 한 주에 만 원하는 회사주식이 1년에 주당 1000원의 순이익을 낸다면? PER은 10이 된다. 이 수치가 회사의 가치를 어떻게 반영한다는 얘기일까?\n",
    "\n",
    "* 출처 [네이버 지식백과]주가수익비율(PER) - \"이 주식은 비싼가, 주식시장이 거품인가\" 판단하는 시금석 (금융사전, 김태근)\n",
    "* https://terms.naver.com/entry.nhn?docId=3571127&cid=58781&categoryId=58781\n",
    "\n",
    "#### EPS 주당순이익\n",
    "\n",
    "* EPS =  순이익(당기순이익) / 그 기업이 발행한 총 주식수\n",
    "\n",
    "주당순이익(EPS)은 기업이 벌어들인 순이익(당기순이익)을 그 기업이 발행한 총 주식수로 나눈 값으로, 1주당 이익을 얼마나 창출하였느냐를 나타내는 지표이다. 즉 해당 회사가 1년간 올린 수익에 대한 주주의 몫을 나타내는 지표라 할 수 있다. 또한 주당순이익은 주가수익비율(PER)계산의 기초가 되기도 한다.\n",
    "\n",
    "EPS가 높을수록 주식의 투자 가치는 높다고 볼 수 있으며, 그만큼 해당 회사의 경영실적이 양호하다는 뜻이다. 따라서 배당 여력도 많으므로 주가에 긍정적인 영향을 미친다.\n",
    "\n",
    "EPS는 당기순이익 규모가 늘면 높아지게 되고, 전환사채의 주식전환이나 증자로 주식수가 많아지면 낮아지게 된다. 특히 최근 주식시장의 패턴이 기업의 수익성을 중시하는 쪽으로 바뀌면서 EPS의 크기가 중요시되고 있다.\n",
    "\n",
    "* 출처 : [네이버 지식백과] 주당순이익(EPS) (시사상식사전, pmg 지식엔진연구소)\n",
    "* https://terms.naver.com/entry.nhn?docId=74510&cid=43667&categoryId=43667"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### filter 를 사용해 특정 텍스트가 들어가는 컬럼 찾기\n",
    "* [정규 표현식 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%ED%91%9C%ED%98%84%EC%8B%9D)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df.filter(regex=)를 통해 \"PERlEPS\" 가 들어가는 컬럼만 가져옵니다.\n",
    "# 특정 컬럼을 가져오고 종목코드를 추가해 줍니다.\n",
    "# df_per_eps"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### melt로 tidy data 만들기\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/reshaping_melt.png\" width=\"600\">\n",
    "\n",
    "* https://pandas.pydata.org/docs/user_guide/reshaping.html#reshaping-by-melt\n",
    "* [Tidy Data 란?](https://vita.had.co.nz/papers/tidy-data.pdf)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# melt를 통해 종목코드를 녹여냅니다.\n",
    "# df_per_eps_melt\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 종목코드별로 value_counts를 통해  PERlEPS 행이 몇 개인지 봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 결측치 데이터 제거\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/03_subset_rows.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# PERlEPS 데이터프레임에서 결측치 데이터 제거\n",
    "# 여기에서 기간별로 생긴 행은 이전 실습에서 concat으로 데이터를 합칠 때 \n",
    "# 컬럼의 이름이 다르면 새로운 컬럼으로 생성하기 때문입니다.\n",
    "# df_pe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# variable 컬럼명을 rename을 통해 \"PERlEPS\"로 변경합니다.\n",
    "# df_pe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df_pe에서 PER, EPS 컬럼을 따로 생성합니다.\n",
    "# df_pe[\"PER\"]\n",
    "# df_pe[\"EPS\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# PER, EPS 컬럼의 N/A 값을 결측치로 만듭니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#  PER, EPS 값 중 둘 다 결측치는 notnull 혹은 isnull을 사용해 제거합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# PER(배) 컬럼을 만들고 수치데이터 형태로 변환합니다.\n",
    "# df_pe[\"PER(배)\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# EPS(원) 컬럼을 만들고 수치데이터 형태로 변환합니다.\n",
    "# df_pe[\"EPS(원)\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "vjVTHW_y3W3j",
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 필요한 컬럼만 따로 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 중복 데이터 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"종목코드\"기준으로 중복된 데이터가 있는지 찾습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 만약 중복데이터가 있다면 다음과 같은 방법으로 제거합니다.\n",
    "# 추출했던 원래 데이터프레임 df와 다시 merge 로 합치기 위해 \n",
    "# drop_duplicates 를 사용해 종목코드가 중복되는 행은 제거합니다.\n",
    "# \"종목코드\", \"PERlEPS\" 로 정렬을 하고 \n",
    "# drop_duplicates 로 제거시 keep=\"first\" 로 위에 있는 데이터를 남깁니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 종목코드값 기준으로 중복데이터를 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### PBRlBPS 전처리\n",
    "\n",
    "\n",
    "#### PBR(주가순자산비율, price-to-book ratio, P/B ratio)\n",
    "\n",
    "* PBR = 주가/BPS(주당순자산가치)\n",
    "* 주가는 그 회사의 종합적인 평가이므로 주주 소유분을 초과한 부분은 모두 그 회사의 잠재적인 프리미엄이 되기 때문에 **경영의 종합력이 뛰어나면 뛰어날수록 배율이 높아진다**고 할 수 있다. 일반적으로 이 지표는 PER과 함께 사용되는데, 이는 주가순자산배율이 그 회사를 정적인 상태 즉 스토크(stock)면에서 보고 있는데 반하여 주가수익률은 동적인 상태 즉 플로(flow)면에서 보고 있으므로 두 가지 지표가 서로 보완관계에 있다.\n",
    "\n",
    "* 다만 이 주가 순자산배율에도 **주주소유분이 장부가격에 의해 계산되고 있어 반드시 정확하다고 할 수 없고 또 그 계산기준이 전기의 결산기가 된다는 등의 난점이 있다.**\n",
    "* 출처 : [주가순자산비율 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EC%A3%BC%EA%B0%80%EC%88%9C%EC%9E%90%EC%82%B0%EB%B9%84%EC%9C%A8)\n",
    "\n",
    "#### BPS(주당순자산가치, Book-value Per Share)\n",
    "\n",
    "* 주당순자산가치 = 기업의 순자산/ 발행 주식수\n",
    "* 주당순자산가치는, '청산가치' 라고도 불린다. 그 이유는 현재 시점에서 기업의 활동을 중단시키고 그 부를 모든 주주들에게 나눠줄 경우 한주당 얼마씩이 돌아가는가를 나타내는 수치이기 때문이다. 보통 주당순자산가치라는 말은 잘 쓰지 않고 BPS라고 하므로 이하 BPS로 쓴다.\n",
    "\n",
    "* BPS가 높다는 것은 자기자본의 비중이 크거나 회사 가치가 높다는 것을 나타낸다. BPS에는 주가 정보가 고려되어 있지 않으므로, 이 회사의 주가가 자산 가치에 비해 얼마나 저평가 혹은 고평가되어 있는지 판단하기 위해 PBR이라는 값을 사용한다.\n",
    "\n",
    "* PBR 값은 BPS 값으로 현재 주가를 나눈 것이다. BPS가 1만원인 위 사례에서 주가가 5,000원이라면 PBR은 0.5가 되고, 주가가 20,000원이라면 PBR은 2가 된다. 즉 전자의 경우 주가는 실제의 자산에 비해 저평가되어 되어 있는 것이고, 후자의 경우 주가는 실제 자산에 비해 고평가 되어 있는 것이다.\n",
    "\n",
    "* 출처 : [주당순자산가치 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EC%A3%BC%EB%8B%B9%EC%88%9C%EC%9E%90%EC%82%B0%EA%B0%80%EC%B9%98)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# filter를 사용해 PBRlBPS 컬럼 가져옵니다.\n",
    "# 종목코드 추가합니다.\n",
    "# df_pbr_bps"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# melt로 tidy data 만듭니다.\n",
    "# df_pbr_bps_melt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결측치를 제거합니다.\n",
    "# df_pb"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# variable 컬럼명을 \"PBRlBPS\"로 변경합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# PBR, BPS 컬럼을 만듭니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# N/A 값(문자) np.nan(결측치)로 변환합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# PBR(배), BPS(원) 컬럼을 만듭니다.\n",
    "# df_pb[\"PBR(배)\"]\n",
    "# df_pb[\"BPS(원)\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 종목코드 기준 value_counts 를 구해 중복값이 있는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"종목코드\",\"PBRlBPS\" 로 중복값이 있는지 확인합니다.\n",
    "# 만약 중복값이 있다면 drop_duplicates 로 삭제합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 사용할 컬럼만 따로 지정해줍니다.\n",
    "# \"종목코드\", \"PBRlBPS\", \"PBR(배)\", \"BPS(원)\"\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 배당 수익률 전처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# PER|EPS 전처리와 마찬가리로 배당수익률 데이터를 전처리 합니다.\n",
    "# df.filter(regex=) 로 배당수익률이 들어가는 컬럼만 찾고 종목코드를 추가 합니다.\n",
    "# df_income"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 추후 병합을 위해 데이터프레임에 종목코드를 추가합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# melt 로 여러 컬럼의 종목코드를 행으로 녹이고 결측치를 dropna 로 제거합니다.\n",
    "# df_in"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 컬럼명을 \"종목코드\", \"배당수익률기간\", \"배당수익률\" 로 변경합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 배당수익률% 컬럼을 만들어 전처리 합니다.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 종목코드가 종목당 2개 이상 있는 값이 있는지 확인합니다.\n",
    "# 2개 이상 있다면 merge 에서 어떤 값을 사용할지 고려해야 합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전처리가 끝난 배당수익률 컬럼은 제거합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## merge 로 기존 데이터와 병합하기\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/08_merge_left.svg\">\n",
    "\n",
    "* concat과 merge의 차이\n",
    "    * concat :  \n",
    "        * axis=0 행을 기준으로 위아래로 **같은 컬럼끼리** 값을 이어 붙여 **새로운 행을 만듦**\n",
    "        * axis=1 컬럼을 기준으로 **인덱스가 같은 값**을 옆으로 붙여 **새로운 컬럼을 만듦**\n",
    "    * merge :\n",
    "        * index 혹은 특정 컬럼 값을 기준으로 두 개의 데이터프레임을 연결\n",
    "        \n",
    "<img src=\"https://www.dofactory.com/img/sql/sql-joins.png\">\n",
    "\n",
    "* 이미지 출처 : https://www.dofactory.com/sql/join"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# merge로 병합합니다.\n",
    "# df와 df_pe를 병합니다. merge 전후 행과 열의 수를 확인해서 제대로 병합이 되었는지 확인합니다.\n",
    "# df_merge_pe 에 할당합니다.\n",
    "# df_merge_pe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 위에서 병합한 데이터(df_merge_pe)에 PBRlBPS(df_pb) 데이터도 병합해 줍니다.\n",
    "# df_merge_pb"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 위에서 병합한 데이터(df_merge_pb)에 배당수익률(df_in) 데이터도 병합해 줍니다.\n",
    "# df_final 이라는 변수에 담습니다.\n",
    "# df_final"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "IRd50HHb3W3j"
   },
   "source": [
    "## 사용하지 않는 컬럼 제거하기 drop"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# l 구분자가 들어가는 컬럼명만 찾습니다.\n",
    "# del_cols"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 위에서 찾은 컬럼명을 drop으로 삭제합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 결측치수가 많거나 중복된 컬럼이 있는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전처리한 컬럼은 원본 컬럼을 제거합니다.\n",
    "del_cols2 = ['종목명_전처리', '시가총액', '시가총액순위', '배당수익률기간']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# del_cols2 를 제거합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 컬럼명 중 필요없는 컬럼이 없는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## CSV 파일로 저장하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 기존 파일명을 변경해서 새로 저장할 파일명을 만듭니다.\n",
    "file_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 저장할 파일명을 만들어 줍니다.\n",
    "# 기존 파일명에 _ver2 를 붙여줍니다.\n",
    "# final_file_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# final_file_name 변수에 있는 파일명으로 저장합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# final_file_name 변수에 있는 값을 읽어옵니다.\n",
    "# 이 때, 종목코드는 dtype={\"종목코드\":np.object} 로 불러옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "wThRQHJV3W3j"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "o2R_ETLb3W3j"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "5. 테마분석.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "204.8px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}