네이버 금융을 사용하는 방식으로 코스피 지수 가져오기

네이버 금융을 활용하는 방식으로 코스피 지수 가져오기

모집부문내용 서류전형인성검사1차면접최종면접최종합격 조직 소개 부동산 서비스 조직은 네이버 부동산을 운영하기 위한 콘텐츠 및 서비스를 담당하고 있습니다. 국내 최대 매물정보 유통 플랫폼으로 20여개 부동산정보업체 및 한국공인중개사협회와 제휴를 맺고 Live 매물 300만건을 사용자에게 제공하고 있습니다. 허위매물이 유통되지 않게 하기 위해 확인매물 서비스를 시행하고 있으며 아파트 단지 정보, 평면도, 시세실거래가, 공시가격 등의 콘텐츠를 제공하고 있습니다.

더불어서 거래 중심의 서비스에 거주 서비스로 확장하기 위해 우리집 서비스를 운영하고 있습니다.

라이브러리 로드

import pandas as pdimport numpy as npimport requests

itemcode itemname pageno 1url f21. pd.readhtmlurl테이블을 찾을 수 없습니다.고 오류가 난다. readhtml은 책상 태그가 있어야 불러올 수 있어요. url 들어가서 inspect 해보시면 책상 태그가 있는데도 불러올 수 없습니다..

tqdm, trange

프로세스 진행 상황을 보여주는 시스템 range는 파이썬 표준 라이브러리에서 제공되는 기능, tqdm에서 제공되는 trange. 원래는 별도 설치해야 하지만 코랩에서는 설치되어 있어서 import 하면 됩니다. tqdm 공식 문서 import time 하나의 데이터프레임으로 만들기 데이터는 newslist라는 변수에 들어있음 dfnews pd.concatnewslistdfnews.shape 0203번 실습파일 06번 이론파일네이버 금융 국내증시 에서 url을 가져옵니다.

inspectnetwork css는 스타일, doc 등 클릭해보면서 요구하는 데이터를 찾을 수 있어요.

판다스 코드로 데이터 수집하기

pd.readhtml 네이버 일별 시세는 cp949 인코딩으로 불러 올 수 있어요. 기본 인코딩 설정은 utf8 table pd.readhtmlresponse.text 출력해보시면 NaN 결측치 값과, 맨 밑의 페이징 부분도 같이 출력되어서 제거가 필요합니다. 페이징 책상 제거 table0와 table1을 확인해보시면 tabel0에 필요한 데이터가 있습니다. temp table0 table1 은 페이징 책상 .dropna table0 했을 때 나오는 NaN을 dropna를 통해 결측치가 들어있는 row를 제거합니다.

스크래핑은 제한

한편, 소비자 입장에서는 마이데이터 이전에도 뱅크샐러드 등 가계부앱에서 아이디와 비밀번호, 혹은 공인인증서 등을 등록해두고 잔액을 가져와서 보여주는 기능은 있었어요. 하지만, 이와 같이 스크래핑 방식은 계정정보를 단일 사업자가 보관되는 위험성과 스크래핑이라는 방식자체의 취약점으로 현재는 제한되고 있으며, 해당 사업자들도 마이데이터를 활용하여 서비스를 운영하고 있습니다. 건강보험공단 등에서 가져오던 스크래핑도 공공마이데이터 등으로 전환되고 있습니다.

마이데이터사업자를 거치지 않고 직접 가져오려면

앞서 설명했듯이 데이터의 주인은 나한테 있으며 마이데이터 사업자는 내 데이터를 조회해서 보여주는 대행사입니다. 그렇다면, 마이데이터 사업자를 거치지 않고 내 데이터를 가져올 수는 없을까? MyPDS라는 앱을 사용하면 마이데이터 사업자를 거치지 않고 직접가져올 수 있어요. 네이버, 카카오, 토스 등에서 운영하고 있는 마이데이터 서비스처럼 부가기능차량부동산 관리, 상품정보, 계좌이체 등은 없지만, 각 금융권의 정보를 가져와서 한 번에 확인할 수 있어요.

다만, 부가기능 외에도 금융사를 하나씩 검색 후 동의해야 하는 등 빅테크사에서 제공되는 수준의 UI는 기대하기 어렵습니다.

코스피 시세 차트 그럼 클래스가 kospiarea 인 것을들 쭉 모아놓고 를 찾으면 거기서도 headingarea 의 하위 노드만 나오겠지요? 그럼 아까 코드에서 추가해 봅니다. ackage JavaTestsimport java.io.IOExceptionimport org.jsoup.Jsoupimport org.jsoup.nodes.Documentpublic class CrawlingNaverFinspublic static void mainString args throws IOExceptionString url httpsfinance.naver.com 이 사진은 최초 클래스만 select 했을때입니다.

이 사진은 변경 한 이후입니다.

기업에서 마이데이터 활용을 고려하고 있다면

기업에서 마이데이터를 활용하여 분석을 하거나 사업에 적용하고 싶다면 무요건 금융위원회의 허가를 받아야 합니다. 또한 기본적으로 돈 5억이상에 전문성과 보안체계를 갖추고, 사업계획도 제출해야 하며, 대주주와 임원의 적격성도 검토합니다.

자주 묻는 질문