Data Analysis blog - blog

[cropdoctor] 4. 작물 질병 데이터셋으로 커스텀 YOLO 모델 학습

project

elice

[cropdoctor] 3. 작물 질병 진단 모델 학습 및 평가 (mobilenetV2)

project

elice

[cropdoctor] 2. tar 확장자 모델 docker image 불러오기

project

elice

[cropdoctor] 1. 노지작물 데이터 EDA

project

elice

노지 작물 질병 진단 이미지

PIL을 사용한 전통적인 이미지 처리 방법

Image

딥러닝을 사용한 이미지 학습 기법 전에, 여러 수많은 이미지 처리 기법들이 발전되어 왔습니다. 이들은 현재는 딥러닝 모델 학습을 위한 데이터 가공에 사용되고 있습니다.

서울시 1인가구 시각화 분석

visualization

본 글은 데이터분석 기반 웹 서비스 개발 프로젝트의 데이터분석 내용입니다. 서울시 1인가구 데이터를 활용하여 인사이트를 도출해내어, 1인가구의 문제점을 파악하고, 해결방안을 제시하는 과정으로 웹서비스를 기획합니다.

[stockait] stockait 사용하여 주가 데이터 표준화 실험하기

project

stockait

본 글은 같은 트레이더의 조건일 때 네개의 다른 표준화 방법으로 전처리한 데이터셋 중 어떤 데이터셋의 성능이 가장 높게 나오는지 비교 실험을 수행하는 글입니다.

[stockait] stockait 사용하여 주가 예측 머신러닝 모델 실험하기

project

stockait

본 글은 stockait 라이브러리를 사용하여 같은 방식으로 전처리한 데이터셋으로 각각 다른 머신러닝 모델을 학습하여 어떤 트레이더의 수익률이 가장 높게 나오는지 실험해보는 예제입니다.

[stockait] stockait에서 trader의 개념과 사용법

project

stockait

[stockait] stockait 사용하여 주가 예측 모델 학습하기

project

stockait

본 글에서는 직접 개발한 파이썬 라이브러리 stockait 사용법을 정리합니다. stockait는 주가 빅데이터 연구를 위한 통합 라이브러리로, 데이터 수집부터 데이터 전처리, 모델 학습 모델 평가, 수익률 계산까지 모든 과정을 이 라이브러리에서 사용할 수 있습니다.

[stock prediction] 3.3 클러스터 탐색을 통한 주가상승 패턴 검출

project

stock prediction

지난 글 ( 3.2 t-SNE를 사용한 주가데이터 2차원 시각화 ) 에서는 원본 주가데이터셋과 SHAP 표준화 데이터셋에 대한 t-SNE 2차원 산점도 시각화를 수행하여 SHAP 표준화 데이터셋의 군집의 경계가 더 명확하게 드러남을 확인하였다. 이번 글에서는 SHAP 표준화 데이터셋에 계층적 클러스터링 알고리즘을 적용하여 명시적으로 군집을 분류해보고, label1의 비율로…

[stock prediction] 3.2 t-SNE를 사용한 주가데이터 2차원 시각화

project

stock prediction

이전 글 ( 3.1. 설명가능 AI (XAI), SHAP value ) 에서는 XAI 기법 중 하나인 SHAP을 사용하여 변수 중요도를 계산하고, summary plot의 결과로 데이터를 필터링하여 특정 집단을 구성해보았다. 이번 글에서는 주가 데이터셋과, SHAP표준화 데이터셋을 2차원 평면에 시각화함으로써 집단 형성이 이루어지는…

[stock prediction] 3.1. 설명가능 AI (XAI), SHAP value

project

stock prediction

이전 글 ( [Stock Research] 2.3. CCI를 이용한 주가 데이터 필터링) 까지 데이터 전저리를 통해 baseline model에 비해 성능을 향상시킬 수 있었다. 이번 글에서는 설명가능 AI 기법중에서도 SHAP value가 무엇인지 알아보고, 앞서 학습했던 CCI 구간 별 XGBoost 모델을…

[stock prediction] 2.3 CCI를 이용한 주가 데이터 필터링

project

stock prediction

이전글 2.2. 주가 데이터 스케일링 에서는 통합 종목 주가 데이터셋의 문제점인 종목마다 다른 가격을 표준화해주는 작업을 했다. 마지막 데이터 전처리 과정은 CCI를 이용한 주가 데이터 필터링이다. 매일 쏟아져 나오는 방대한 주가…

[stock prediction] 2.2 주가 데이터 스케일링

project

stock prediction

이전 글 2.1 주가 데이터셋 보조지표 추가까지 주가 데이터에…

[stock prediction] 2.1 주가 데이터셋 보조지표 추가

project

stock prediction

이전 글 [Stock Research] 1.2. 머신러닝 모델 비교까지 주가 데이터셋 생성과 머신러닝 모델 비교를 통해…

[stock prediction] 1.2 머신러닝 모델 비교

project

stock prediction

이전 글 (1.1. 머신러닝을 위한 주가 데이터셋 생성) 에서는 머신러닝을 위한 시계열 구조의 데이터셋을 생성했다. 이번 글에서는 생성한 데이터셋을…

[stock prediction] 1.1 머신러닝을 위한 주가 데이터셋 생성

project

stock prediction

본 글에서는 시가, 저가, 고가, 종가, 거래량, 변화율로 구성되어있는 주가 데이터셋을 머신러닝 학습을 위한 형태로 전처리한다. 또한, 이 전처리 과정에서 처음에 시도하였던 방법으로부터 점차 효율적으로 개선하여 처리 시간을 줄이는 방법의 과정을 담았다.

상권정보 시각화 분석

lecture/practice

visualization

이번 데이터 시각화 분석에서는 공공데이터포털의 상권정보 데이터를 사용하여 서울시에 있는 상권 업종 분류 별로 살펴보며 서울시 상권업종 현황을 분석해보고, 그 중에서도 두 가지 분류(학원, 베이커리)를 집중적으로 분석해보도록 하겠습니다.

전국 아파트 분양가격 시각화 분석

lecture/practice

visualization

분양가란 처음 분양을 시작할 때의 가격을 말합니다. 이번 데이터 분석에서는 2013년부터 2019년도까지의 전국 신규 민간 아파트 분양가격 데이터를 사용하여 아파트 분양가를 연도, 지역 별로 분석해보면서 부동산 가격 변동 추세를 알아봅니다.