요약

https://ko.wikipedia.org/wiki/%EA%B2%B0%EC%A0%95_%ED%8A%B8%EB%A6%AC_%ED%95%99%EC%8A%B5%EB%B2%95

의사결정나무와 엔트로피

https://gomguard.tistory.com/86

https://danbi-ncsoft.github.io/study/2018/12/06/entropy.html

분류트리

https://becominghuman.ai/decision-trees-in-machine-learning-f362b296594a

https://www.youtube.com/watch?v=2Rd4AqmLjfU

회귀트리

https://ratsgo.github.io/machine%20learning/2017/03/26/tree/

http://dm.snu.ac.kr/static/docs/dm2015/Chap9_%20%EC%9D%98%EC%82%AC%EA%B2%B0%EC%A0%95%EB%82%98%EB%AC%B4.pdf

의사결정트리 알고리즘

http://contents2.kocw.or.kr/KOCW/document/2017/yeungnam/leejeayoung/4.pdf

ID3 (Iterative Dichotomiser 3) - 범주형자료만 분류가능

https://jihoonlee.tistory.com/16?category=725291

C4.5 (successor of ID3) - 수치형(범주형)자료처리

C5.0 (successor of ID4)

https://jihoonlee.tistory.com/17?category=725291

CART (Classification And Regression Tree)
CHAID (CHi-squared Automatic Interaction Detector) : 이 알고리즘은 분류 트리를 계산할 때 다단계 분할을 수행한다.
MARS (Multivariate adaptive regression splines) : 더 많은 수치 데이터를 처리하기 위해 결정 트리를 사용한다.
조건부 추론 트리 (Conditional Inference Trees) : 과적합을 피하기 위해 여러 테스트에 대해 보정 분할 기준으로 비 - 파라미터 테스트를 사용하는 통계 기반의 방법이다. 이 방법은 편견 예측 선택 결과와 가지 치기가 필요하지 않다.

ID3와 CART방법은 비슷한 시기인 1970년과 1980년 사이에 독립적으로 발명되었으며, 훈련 쌍에 대해 의사 결정 트리 학습을 위한 유사한 접근 방식을 사용한다. 위 알고리즘들 중에서 ID3, C4.5, C5.0 알고리즘들은 인공지능, 기계학습 분야에서 개발되어 발전되어 왔다. 이에 반해, CART 및 CHAID 알고리즘은 통계학에 분야에서 개발된 알고리즘들이다. 인공지능, 기계학습 계열의 알고리즘들은 엔트로피, 정보이득 개념을 사용하여 분리기준을 결정하고, 통계학에 기초한 CART 및 CHAID 알고리즘들은 카이스퀘어, T검정, F검정 등의 통계분석법을 사용한다.

http://katalog.egloos.com/3191268

과적합 방지알고리즘

https://www.youtube.com/watch?v=JM7TePqW5H0

랜덤포레스트

https://swalloow.tistory.com/92

용어정리

https://support.minitab.com/ko-kr/minitab/18/help-and-how-to/statistics/basic-statistics/supporting-topics/correlation-and-covariance/a-comparison-of-the-pearson-and-spearman-correlation-methods/

Confusion Matrix(분류결과표)

https://bcho.tistory.com/1206

크로스탭

열과 행을 회전시킨 테이블

Feature Engineering

http://hero4earth.com/blog/learning/2018/01/29/Feature_Engineering_Basic/#feature-engineering

Feature Engineering은 머신러닝 알고리즘을 작동하기 위해 데이터에 대한 도메인 지식을 활용하여 특징(Feature)를 만들어내는 과정입니다. < Wikipedia - Feature Engineering 정의 >

다른 정의를 살펴보면, 머신러닝 모델을 위한 데이터 테이블의 컬럼(특징)을 생성하거나 선택하는 작업을 의미한다고 합니다.

간단히 정리하면, 모델의 성능을 높이기 위해 모델에 입력할 데이터를 만들기 위해 주어진 초기 데이터로부터 특징을 가공하고 생성하는 전체 과정을 의미합니다.

Feature Engineering은 모델 성능에 미치는 영향이 크기 떄문에 머신러닝 응용에 있어서 굉장히 중요한 단계이며, 전문성과 시간과 비용이 많이 드는 작업입니다.

Bigrams / Trigrams

ex ) "I read a book about the history of America."

1. unigram :  "I", "read", "a", "book", "about", "the", "history", "of", "America"

2. bigram (digram) :  "I read", "read a", "a book", "book about", "about the", "the history", "history of", "of America"

3. trigram : "I read a", "read a book", "a book about", "book about the", "about the history", "the history of", "history of America"

사용 예) search engieen에서 키워드를 뽑아내는 용도

음석인식에서 자연어처리할때

모수/비모수

1. 모수적 통계의 전제조건

관측값이 어느 특정한 확률분포, 예를 들면 정규분포, 이항분포 등을 따른다고 전제한 후 그 분포의 모수(parameter)에 대한 검정을 실시하는 방법이다 

① 표본의 모집단이 정규분포를 이루어야 한다

② 집단내의 분산은 같아야 한다

③ 변인은 등간척도나 비율척도로 측정되어야 한다 → 이 조건이 충족되지 않으면 비모수 통계를 사용한다

- 등간척도: 간격척도 라고도 한다. 간격이 일정하여 덧셈 뺄셈은 가능하지만, 0이 아무것도 없는 것을 뜻하는 것이 아니기 때문에 몇 배라고 이야기 할 수 없는 척도 -시각, 섭씨온도, 화씨온도 

- 비율척도 : 0 기준으로 하기 때문에 비율이 가능한 척도. 우리가 사용하는 대부분의 변수가 여기에 해당 -성적, 키, 무게, 인구수, 금액 등)

cf) 명목척도 : 상하 관계는 없고 구분만 있는 척도 (남, 여, 국적.. 등)

    서열척도 : 크기는 있지만 그 간격이 얼마나 큰지 알 수 없을 때 (직위, 학렬, 등수, 친한친구 순서 등)

2. 비모수검정

① 모집단이 정규분포한다는 가정을 할 수 없는 경우에 모집단의 분포 유형에 관계없이 적용할 수 있는 방법이다

-종속변수가 연속변수인데 sample size가 작아(<30) 모집단에 대해 어떤 분포도 가정할 수 없는 경우가 있다

② 변수가 명목척도나 서열척도로 측정하는 경우에 분류기준과 분류방법의 독립성을 검정 가능하다

③ 모집단의 특성을 나타내는 모수에 대한 검정의 목적이 아닌경우, 이론분포와 경험분포간의 적합도(goodness of fit test)를 검정 가능하다

출처 : https://sherry-data.tistory.com/15

상관계수

https://mansoostat.tistory.com/115 상관계수 총정리

https://socialinnovation.tistory.com/141 카이제곱검정

http://m.blog.daum.net/_blog/_m/commentList.do?blogid=06PmS&articleno=11416177

scikit-learn문서전처리

https://datascienceschool.net/view-notebook/3e7aadbf88ed4f0d87a76f9ddc925d69/

python 문법

pandas.reset_index

reset_index 명령으로 인덱스를 보통의 자료열로 바꿀 수도 있다. 이 때 인덱스 열은 자료열의 가장 선두로 삽입된다. 데이터프레임의 인덱스는 정수로 된 디폴트 인덱스로 바뀐다.

https://datascienceschool.net/view-notebook/a49bde24674a46699639c1fa9bb7e213/

pandas.apply

http://www.leejungmin.org/post/2018/04/21/pandas_apply_and_map/

python.istitle

 s = 'I am a boy'

 split_s = s.split()

 istitle_s = [w for w in split_s if(w.istitle())]

 print(istitle_s) #['I'] 

stopword

https://wikidocs.net/22530

plt.violinplot

• 박스 플롯과 매우 유사.
• 박스 플롯에서 아웃라이어로 표시되는 데이터까지 하나의 곡선 안에 모두 표시해준다.

      https://datascienceschool.net/view-notebook/84bf5b15b4fc4dd5aa0672bfdfd7c971

pd.melt

https://rfriend.tistory.com/tag/pd.melt%28%29

활성(화)함수란 입력을 받아 피쳐의 활성, 비활성을 결정하는데 사용되는 함수이다.

선형함수는 입력의 상수배만큼 변하는 것으로 

f(x) = x(항등함수) 또는 f(x) = ax 또는 f(x) = ax + b등 의 1차 함수가 있으며

모두 1개의 직선 모양이다.

반대로 비선형은 2개 이상의 직선 또는 곡선의 모양을 가지고 있다.

비선형에는 Sigmoid, ReLU 등이 있다.

사용할 활성화 함수를 선택할 때는 풀고자 하는 문제의 종류를 고려해야 한다.

선형회귀문제

문제의 결과가 직선을 따르는 경향이 있다면 선형함수(y=wx+b)를 주로 이용한다.

분류문제

2개를 분류하는 문제일 때는 선형함수만으로는 정확하게 분류하기 힘들어지는 경향이 있다.

그래서 비선형 함수인 sigmoid, ReLU와 그 변형된 활성화함수를 주로 이용한다.

3개 이상을 분류할 때 주로 Softmax와 그 변형된 활성화함수를 주로 이용한다.

목표 정확도와 학습시간 등을 고려하여 선택하고 혼합 사용도 가능하다.

신경망에서는 활성화 함수로 선형함수가 아닌 비선형함수를 사용해야 한다.

왜냐하면 히든레이어를 여러 개 다층으로 구성하고 활성화함수로 모두 선형함수를 이용하는 경우

단층으로 구성한 것과 정확하게 동일하게 구현할 수 있다. 곧 무의미하다.

1. 데이터를 같은 범위로 rescaling한다.

<사용 라이브러리>

- from sklearn.preprocessing import StandardScaler

  x_std = StandardScaler().fit_transform(X)

2 데이터의 상관행렬을 구한다.

<사용 라이브러리>

- import numpy as np

  features = x_std.T 

  covariance_matrix = np.cov(features)

3. 고유벡터와 고유값을 구해서 가장큰 고유값을 가진 고유벡터를 구한다.

<사용 함수>

eig_vals, eig_vecs = np.linalg.eig(covariance_matrix)

(이 고유벡터를 사용했을때의 데이터 유실정도)

eig_vals[0] / sum(eig_vals)

4. 현재 x값을 eig_vecs에 정사영 시킨다.

projected_X = x_std.dot(eig_vecs.T[0])

결과

결과

결과

결과

[참조]

http://taewan.kim/post/numpy_cheat_sheet/

http://pinkwink.kr/715?category=522424