AI STICKER

머신러닝을 위한 데이터 가져오기

• UC Irvine 머신러닝 저장소 (http://archive.ics.uci.edu/ml/)
• Kaggle Dataset (http://www.kaggle.com/datasets)
• Amazon AWS Dataset (http://aws.amazon.com/ko/datasets
• Wiki Dic. (https://goo.gl/SJHN2k)
• Quora.com (http://goo.gl/zDR78y)
• Dataset Subreddit(http://www.reddit.com/r/datasets)

1. 데이터 가져오기

import os
import tarfile
from six.moves import urllib

DOWNLOAD_ROOT = "https://github.com/ageron/handson-ml/tree/master/"
HOUSING_PATH = "datasets/housing"
HOUSING_URL = DOWNLOAD_ROOT + HOUSING_PATH + "/housing.tgz"


def fetch_housing_data(housing_url=HOUSING_URL, housing_path=HOUSING_PATH):
    if not os.path.isdir(housing_path):
        os.makedirs(housing_path)

    tgz_path = os.path.join(housing_path, "housing.tgz")
    urllib.request.urlretrieve(housing_url, tgz_path)
    housing_tgz = tarfile.open(tgz_path)
    housing_tgz.extractall(path=housing_path)
    housing_tgz.close()

fetch_housing_data()

2. 데이터셋 확인

이제 판다스를 사용하여 데이터를 읽어 들이도록 하겠습니다. 데이터를 읽어들이는 간단한 함수를 사용하도록 하겠습니다.

load_housing_data() 함수는 모든 데이터를 담은 판다스의 데이터프레임 객체를 반환합니다. head() 함수를 활용하여 정상적으로 데이터가 적재되었는지 확인합니다.

Code

import pandas as pd

HOUSING_PATH = "datasets/housing"

def load_housing_data(housing_path=HOUSING_PATH):
    csv_path = os.path.join(housing_path, "housing.csv")
    return pd.read_csv(csv_path)

housing = load_housing_data()
print(housing.head())

Output

info() 함수를 통해 데이터에 대한 간략한 설명과 전체 행 수, 각 특성의 데이터 타입과 널이 아닌 값의 개수를 확인합니다.

Code

housing = load_housing_data()
print(housing.info())

Output

데이터셋에 20,640개의 샘플이 있습니다. 머신러닝 프로젝트치고는 상당히 작은 편이지만, 처음 시작하기에 적당한 크기입니다.

ocean_proximity 필드를 제외하고는 모두 숫자형(float64)임을 확인할 수 있습니다. ocean_proximity 필드의 데이터 타입이 object이므로 어떤 파이썬 객체도 될 수 있지만,
데이터를 CSV 파일에서 읽어 들였기 때문에 텍스트 특성일 것이라고 추측할 수 있습니다. 해당 열의 값이 반복적으로 나타나는 것으로 보아 범주형 변수임을 확인할 수 있습니다. 

3. 데이터 필드 속성 확인

Code

housing = load_housing_data()
print(housing["ocean_proximity"].value_counts())

Output

housing.hist(bins=50, figsize=(20, 15))
plt.show()

비선형 SVM의 분류 방법

선형 SVM 분류기가 효율적이고 많은 경우에 아주 잘 작동하지만, 선형적으로 분류할 수 없는 데이터셋이 더 많습니다. 

비선형 데이터셋을 다루는 한 가지 방법은 다항 특성과 같은 특성을 더 추가하는 것입니다. 이렇게 하면 선형적으로 구분되는 데이터셋이 만들어질 수 있습니다.

< Fig. 1. 특성을 추가하여 선형적으로 구분되는 데이터셋 만들기 예제 >

Fig. 1의 왼쪽 그래프는 하나의 특성 𝑥₁만을 가진 가장 간단한 데이터셋을 나타냅니다. 그림에서 볼 수 있듯이 이 데이터셋은 선형적인 구분이 불가능합니다.

하지만 두 번째 특성 𝑥₂ = (𝑥₁)²을 추가하여 만들어진 2차원 데이터셋은 완벽하게 선형적으로 구분할 수 있습니다.

사이킷런을 사용하여 이를 구현하려면 PolynomialFeatures 변환기와 StandardScaler, LinearSVC를 연결하여 Pipeline을 만들면 좋습니다.

아래의 예제는 moons 데이터셋에 위 3가지를 적용한 것입니다.

Code

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC

X, y = make_moons(n_samples=100, noise=0.15, random_state=42)

polynomial_svm_clf = Pipeline([
    ("poly_features", PolynomialFeatures(degree=3)),
    ("scaler", StandardScaler()),
    ("svm_clf", LinearSVC(C=10, loss="hinge"))
])

polynomial_svm_clf.fit(X, y)

1. 다항식 커널 (Polynomial Kernel)

다항식 특성을 추가하는 것은 간단하고 모든 머신러닝 알고리즘에서 잘 작동합니다. 하지만, 낮은 차수의 다항식은 매우 복잡한 데이터셋을 잘 표현하지 못하고 높은 차수의 다항식은 굉장히 많은 특성을 추가하므로 모델을 느리게 만듭니다.

다행히도 SVM을 사용할 땐 커널 트릭(Kernel Trick)이라는 거의 기적에 가까운 수학적 기교를 적용할 수 있습니다. 실제로는 특성을 추가하지 않으면서 다항식 특성을 많이 추가한 것과 같은 결과를 얻을 수 있습니다. 사실 어떤 특성도 추가하지 않기 때문에 엄청난 수의 특성 조합이 생기지 않습니다. 이 기법은 SVC 파이썬 클래스에 구현되어 있습니다.

Code

from sklearn.svm import SVC
import matplotlib.pyplot as plt
import mglearn

X, y = make_moons(n_samples=100, noise=0.15, random_state=42)


poly_kernel_svm_clf = Pipeline([
    ("scaler", StandardScaler()),
    ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))

])

poly_kernel_svm_clf.fit(X, y)


poly_kernel_svm_clf2 = Pipeline([
    ("scaler", StandardScaler()),
    ("svm_clf", SVC(kernel="poly", degree=10, coef0=100, C=5))

])

poly_kernel_svm_clf2.fit(X, y)


mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
mglearn.plots.plot_2d_separator(poly_kernel_svm_clf, X)
plt.show()


mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
mglearn.plots.plot_2d_separator(poly_kernel_svm_clf2, X)
plt.show()

Output

< Exp. 1. 가우시안 RBF >

이 함수의 값은 0부터 1까지 변화하며 종 모양으로 나타납니다. 이제 새로운 특성을 만들 준비가 되었습니다. 예를 들어 𝑥₁ = -1 샘플을 살펴봅시다. 이 샘플은 첫 번째 랜드마크에서 1만큼 떨어져 있고 두 번째 랜드마크에서 2만큼 떨어져 있습니다. 그러므로 새로 만든 특성은 𝑥₂ = exp(-0.3 × 1²) ≈ 0.74와 𝑥₃ = exp(-0.3 × 2²) ≈ 0.30입니다. Fig. 1.의 오른쪽 그래프는 변환된 데이터셋을 보여줍니다.

< Fig. 1. 가우시안 RBF를 사용한 유사도 측정 >

위와 같이 변환하면 이제 선형적으로 구분이 가능합니다. 랜드마크는 어떻게 선택할까요? 간단한 방법은 데이터셋에 있는 모든 샘플 위치에 랜드마크를 설정하는 것입니다. 이렇게 하면 차원이 매우 커지고 따라서 변환된 훈련 세트가 선형적으로 구분될 가능성이 매우 높습니다. 단점은 훈련 세트에 있는 n개의 특성을 가진 m개의 샘플이 m개의 특성을 가진 m개의 샘플로 변환된다는 것입니다. 훈련 세트가 매우 클 경우 동일한 크기의 아주 많은 특성이 만들어집니다.

3. 가우시안 RBF 커널 (Gaussian RBF Kernel)

Code

gamma_lst = [0.1, 0.1, 5, 5]
C_lst = [0.001, 1000, 0.001, 1000]

for g, c in zip(gamma_lst, C_lst):
    rbf_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="rbf", gamma=g, C=c))
    ])

    rbf_kernel_svm_clf.fit(X, y)
    mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
    mglearn.plots.plot_2d_separator(rbf_kernel_svm_clf, X)
    plt.show()

Output

• https://tensorflow.blog/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/2-3-7-%EC%BB%A4%EB%84%90-%EC%84%9C%ED%8F%AC%ED%8A%B8-%EB%B2%A1%ED%84%B0-%EB%A8%B8%EC%8B%A0/
• 오렐리앙 제롱, '핸즈온 머신러닝', 한빛미디어, 2018

Fig. 1은 붓꽃 데이터셋의 일부를 나타낸 그림입니다. 두 클래스가 직선으로 확실히 잘 나뉘어 진 것을 확인할 수 있습니다.

왼쪽 그래프에 세 개의 선형 분류기에서 만들어진 결정 경계를 확인할 수 있습니다. 점선으로 나타난 결계는 클래스를 적절히 분류하지 못하고 있습니다.

다른 두 모델은 훈련 세트에 완벽하게 동작합니다. 하지만, 결정 경계가 샘플에 너무 가까워 새로운 샘플에 대해서는 아마 잘 작동하지 못할 것입니다.

오른쪽 그래프에 있는 실선은 SVM 분류기의 결정 경계입니다. 이 직선은 두 개의 클래스를 나누고 있을 뿐만 아니라 제일 가까운 훈련 샘플로부터 가능한 한 멀리 떨어져 있습니다.

SVM 분류기를 클래스 사이에서 가장 폭이 넓은 도로를 찾는 것으로 생각할 수 있습니다. 이를 라지 마진 분류라고 합니다.

도로 바깥쪽에 훈련 샘플을 더 추가해도 결정 경계에는 전혀 영향을 미치지 않습니다. 도로 경계에 위치한 샘플에 의해 전적으로 결정됩니다.

이런 샘플을 서포트 백터라고 합니다. (오른쪽 그래프의 동그라미로 표시된 부분)

2. 소프트 마진 분류(Soft Margin Classification)

모든 샘플이 도로 바깥쪽에 올바르게 분류되어 있다면 이를 하드 마진 분류라고 합니다.

하드 마진 분류에는 두 가지 문제점이 있습니다. 데이터가 선형적으로 구분될 수 있어야 제대로 작동하며, 이상치에 민감합니다.

< Fig. 2 이상치에 민감한 하드 마진 >

Fig. 2를 살펴보면 왼쪽 그래프에 이상치가 하나 있습니다. 왼쪽 그래프에서는 하드 마진을 찾을 수 없습니다.

오른쪽 그래프의 결정 경계는 이상치가 없던 Fig. 1과 매우 다르고 일반화가 잘 되지 않습니다.

이러한 문제를 피하기 위해서는 조금 더 유연한 모델이 필요합니다. 도로의 폭을 가능한 넓게 유지하는 것과 마진 오류(Margin Violation) 사이에 적절한 균형을 잡하야 합니다.

이를 소프트 마진 분류라고 합니다. 

< Fig. 3. 좁은 마진과 넓은 마진 >

사이킷런의 SVM 모델에서는 C 하이퍼파라미터를 사용해 이 균형을 조절할 수 있습니다. C값을 줄이면 도로의 폭이 넓어지지만 마진 오류도 커집니다. 

Fig. 3은 선형적으로 구분되지 않는 데이터셋에 두 개의 소프트 마진 SVM 분류기로 만든 결정 경계와 마진을 보여줍니다. 왼쪽 그래프에서는 큰 C 값을 사용해 분류기가 마진 오류를 적게 냈지만 마진이 좁아졌고, 오른쪽 그래프에서는 작은 C 값을 사용하여 마진이 넓어졌지만 많은 샘플이 도로 안에 포함되었습니다. 두 개의 그래프에서는 오른쪽에 있는 분류기가 더 잘 일반화될 것 같아 보입니다. 사실 대부분의 마진 오류는 결정 경계를 기준으로 올바른 클래스로 분류되기 때문에 이 훈련 세트에서 예측 에러는 마진 오류보다 적습니다.

아래의 코드는 붓꽃 데이터를 적재하고, 특성 스케일을 변경하고, Iris - Virginia 품종을 감지하기 위해 선형 SVM 모델을 훈련시킵니다.

import numpy as np
from sklearn import datasets
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC

iris = datasets.load_iris()

X = iris["data"][:, (2, 3)]
y = (iris["target"] == 2).astype(np.float64)

svm_clf = Pipeline([
    ("scaler", StandardScaler()),
    ("linear_svc", LinearSVC(C=1, loss="hinge"))
])

svm_clf.fit(X, y)

print(svm_clf.predict([[5.5, 1.7]]))

> array([1.])

여기에서는 선형 SVM 분류기를 훈련시키기 위해 일반적인 확률적 경사 하강법을 적용합니다.

LinearSVC만큼 빠르게 수렴하지는 않지만 데이터셋이 아주 커서 메모리에 적재할 수 없거나, 

온라인 학습으로 분류 문제를 다룰 때는 유용합니다.

SVM (Support Vector Machine)

SVM의 분류 방법

< Fig. 3. SVM 분류 예시 3 >

그렇다면 Fig. 3에서는 어떨까? '빨간 원' 원소 중 하나가 '초록 사각형' 원소들 가까이 위치하고 있습니다.

여기에서는 Line 1을 선택하게 됩니다. SVM은 먼저 Classification 한 다음 Margin이 가장 큰 선을 선택하기 때문입니다.

< Fig.  4. SVM의 Outlier 예시 >

Fig. 4에서는 SVM에서의 Outlier를 표현하는 그래프가 나타나있다. 빨간 원 중 하나가 초록 사각형 사이에 분포하고 있습니다.

여기에서는 어떠한 선을 선택하게 될까요? 정답은 Line 1입니다. 선형 SVM은 Outlier를 어느정도 무시하며 최선의 선택을 진행합니다.

References

• http://hiuaa.tistory.com/78
• 오렐리앙 제롱, '핸즈온 머신러닝', 한빛미디어, 2018

과대적합과 과소적합

1. 과대적합(Overfitting)

머신러닝에서의 좋은 데이터와 나쁜 데이터란?

1. 충분하지 않은 양의 훈련 데이터

2. 대표성 없는 훈련 데이터

3. 낮은 품질의 데이터

4. 관련 없는 특성

References

• 오렐리앙 제롱, '핸즈온 머신러닝', 한빛미디어, 2018

사례 기반 학습과 모델 기반 학습

머신러닝 시스템은 어떻게 일반화되는가에 따라 분류할 수 있습니다. 대부분의 머신러닝은 예측하는 것이 목표입니다.

다시 말하면, 주어진 훈련 데이터로 학습하지만 훈련 데이터에서는 본 적 없는 새로운 데이터로 일반화되어야 한다는 뜻입니다.

사례 기반 학습

< Fig. 1. 사례 기반 학습 예시 >

모델 기반 학습

샘플로부터 일반화시키는 다른 방법은 이 샘플들의 모델을 만들어 예측하는 것입니다.

이를 모델 기반 학습(Model-Based Learning)이라고 합니다.

< Fig. 2. 모델 기반 학습 예시 >

모델 기반 학습의 예시로 돈이 사람을 행복하게 만드는지 알아보도록 하겠습니다.

OECD 웹사이트에서 더 나은 삶의 지표(Better Life Index) 데이터와 IMF 웹사이트에서 1인당 GDP 통계를 내려받습니다.

두 데이터 테이블을 합치고 1인당 GDP로 정렬합니다.

< Fig. 3. 1인당 GDP 순으로 정렬한 데이터 >

위의 데이터를 보기 편하게 시각화 합니다.

< Fig. 4. 그래프로 표현한 1인당 GDP와 삶의 질 관계 >

Fig. 4를 살펴보면 어떠한 경향을 찾을 수 있습니다. 삶의 만족도는 국가의 1인당 GDP가 증가할수록 거의 선형으로 상승하는 것을 확인할 수 있었습니다.

그러므로, 1인당 GDP의 선형 함수로 삶의 만족도를 모델링 해보겠습니다. 이 단계를 모델 선택(Model Selection)이라고 합니다.

1인당 GDP라는 특성 하나를 가진 삶의 만족도에 대한 선형 모델(Linear Model)입니다.

이 모델은 두 개의 모델 파라미터 𝜃₀와 𝜃₁을 가집니다. 이 모델 파라미터를 조정하여 Fig. 5 처럼 어떤 선형 함수를 표현하는 모델을 얻을 수 있습니다.

모델을 사용하기 전에 𝜃₀와 𝜃₁을 정의해야 합니다. 모델이 최상의 성능을 내도록 하는 값을 어떻게 유추할 수 있을까요?

이 질문에 대답하기 위해서는 측정 지표를 정해두어야 합니다. 모델이 얼마나 좋은지, 나쁜지를 결정하는 효용 함수^[각주:1](또는 적합도 함수^[각주:2])를 정의하거나,

얼마나 이 모델이 나쁜지 측정하는 비용 함수^[각주:3]를 정의할 수 있습니다. 선형 회귀에서는 보통 선형 모델의 예측과 훈련 데이터 사이의 거리를 재는 비용 함수를 주로 사용합니다.

여기에서 선형 회귀 알고리즘이 등장합니다. 알고리즘에 훈련 데이터를 공급하면 데이터에 가장 잘 맞는 선형 모델의 파라미터를 찾습니다.

이를 모델을 훈련^[각주:4]시킨다고 말합니다. 실습을 통해 해당 모델을 훈련시켜보도록 하겠습니다.

아래의 파이썬 코드는 데이터를 로드하고 준비한 다음 산점도를 그려 시각화하고 선형 모델을 훈련하여 예측하는 과정을 보여줍니다.

사이킷런을 활용한 선형 모델의 훈련과 실행 코드

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import sklearn
import warnings
warnings.filterwarnings(action="ignore", module="scipy", message="^internal gelsd")


# Load the data
oecd_bli = pd.read_csv("BLI.csv", thousands=',')
gdp_per_capita = pd.read_csv("WEO.csv", thousands=',', delimiter='\t',
                  encoding='latin1', na_values="n/a")

# Pre-process the data
def prepare_country_stats(oecd_bli, gdp_per_capita):
    oecd_bli = oecd_bli[oecd_bli["INEQUALITY"]=="TOT"]
    oecd_bli = oecd_bli.pivot(index='Country', columns="Indicator", values="Value")
    gdp_per_capita.rename(columns={"2015": "GDP per capita"}, inplace=True)
    gdp_per_capita.set_index('Country', inplace=True)
    full_country_stats = pd.merge(left=oecd_bli, right=gdp_per_capita,
                                  left_index=True, right_index=True)
    full_country_stats.sort_values(by="GDP per capita", inplace=True)
    remove_indices = [0, 1, 6, 8, 33, 34, 35]
    keep_indices = list(set(range(36)) - set(remove_indices))
    return full_country_stats[["GDP per capita", 'Life satisfaction']].iloc[keep_indices]


# Prepare the data
country_stats = prepare_country_stats(oecd_bli, gdp_per_capita)
X = np.c_[country_stats["GDP per capita"]]
y = np.c_[country_stats["Life satisfaction"]]

# Visualize the data
country_stats.plot(kind='scatter', x="GDP per capita", y='Life satisfaction')
plt.show()

# Select a linear model
model = sklearn.linear_model.LinearRegression()

# Train the model
model.fit(X, y)

# Make a prediction for Cyprus
X_new = [[22587]]  # Cyprus' GDP per capita
print(model.predict(X_new)) # outputs [[ 5.96242338]]

결과

[[ 5.96242338]]

지금까지의 작업을 간단히 요약하자면 다음과 같습니다.

데이터를 분석합니다.
모델을 선택합니다.
훈련 데이터로 모델을 훈련시킵니다. 
마지막으로 새로운 데이터에 모델을 적용해 예측을 하고, 이 모델이 일반화되길 기대합니다.

이와 같은 과정이 머신러닝 프로젝트의 전형적인 형태라고 할 수 있습니다.


Reference
오렐리앙 제롱, '핸즈온 머신러닝', 한빛미디어, 2018
https://github.com/ageron/handson-ml/blob/master/01_the_machine_learning_landscape.ipynb

배치 학습과 온라인 학습

배치 학습(Batch Learning)

배치 학습에서는 시스템이 점진적으로 학습할 수 없습니다. 가용한 데이터를 모두 사용해 훈련시켜야 합니다.

이러한 방식은 시간과 자원을 많이 소모하여 일반적으로 오프라인에서 가동됩니다.

먼저 시스템을 훈련시키고 제품 시스템에 적용하면 더 이상의 학습 없이 실행됩니다.

즉, 학습한 것을 적용할 뿐입니다. 이를 오프라인 학습(Offline Learning)이라고 합니다.

배치 학습 시스템이 새로운 데이터에 대해 학습하려면 전체 데이터를 사용하여 시스템의 새로운 버전을 처음부터 다시 훈련해야 합니다.

이후 이전 시스템을 중지시키고 새로운 시스템으로 교체합니다.

이러한 방식은 간단하고 잘 작동하지만 전체 데이터 셋을 사용해 훈련하는데 몇 시간이 소요될 수 있습니다.

또한, 전체 데이터 셋을 사용해 훈련하기 때문에 시스템 자원을 많이 소모합니다. 자원이 제한된 시스템이 스스로 학습해야 할 때 많은 양의 훈련 데이터를 나르고 학습을 위해 자원을 사용하는 경우 문제를 발생시킬 수 있습니다.

온라인 학습(Online Learning)

온라인 학습에서는 데이터를 순차적으로 한 개씩 또는 미니배치(Mini-Batch)라 부르는 작은 묶음 단위로 주입하여 시스템을 훈련시킵니다.

매 학습 단계가 빠르고 비용이 적게 들어 시스템은 데이터가 도착하는 대로 즉시 학습할 수 있습니다.

온라인 학습은 연속적으로 데이터를 받고 빠른 변화에 스스로 적응해야 하는 시스템에 적합합니다.

컴퓨팅 자원이 제한된 경우에도 적합하다고 할 수 있습니다. 학습이 끝난 데이터는 더 이상 필요하지 않으므로 버리면 됩니다.

온라인 학습 시스템에서 중요한 파라미터 중 하나는 변화하는 데이터에 얼마나 빠르게 적응할 것인지 입니다.

이를 학습률(Learning Rate)이라고 합니다. 학습률을 높게 하면 시스템이 데이터에 빠르게 적응하지만 예전 데이터를 금방 잊어버리게 됩니다.

반대로 학습률이 낮으면 시스템의 관성이 더 커져서 더 느리게 학습됩니다. 하지만 새로운 데이터에 있는 잡음이나 대표성 없는 데이터 포인트에 덜 민감해집니다.

온라인 학습의 가장 큰 문제점은 시스템에 나쁜 데이터가 주입되었을 때 시스템 성능이 점진적으로 감소할 수 있다는 것입니다.

이러한 위험을 줄이기 위해서는 시스템을 면밀히 모니터링하고 성능 감소사 감지되면 즉각적으로 학습을 중지시키는 대처가 필요합니다.

Reference

• 오렐리앙 제롱, '핸즈온 머신러닝', 한빛미디어, 2018

1. 지도학습과 비지도학습

지도학습(Supervised Learning)

지도학습에는 알고리즘에 주입하는 훈련 데이터에 레이블(Lable)이라는 원하는 답이 포함되어야 합니다.

분류(Classification)가 전형적인 지도 학습 작업이며, 숫자 인식을 좋은 예로 들 수 있습니다.

다른 작업으로는 예측 변수(Predictor Variable)라 불리는 특성(Feature)을 사용해 최종적인 결과를 예측합니다.

위와 같은 종류의 작업을 회귀(Regression)라고 부릅니다.

일부 회귀 알고리즘은 분류에 사용할 수도 있고 사용할 수 없는 경우도 있습니다.

분류에 널리 쓰이는 로지스틱 회귀(Logistic Regression)는 클래스에 속할 확률을 출력합니다.

• K-최근접 이웃(k-Nearest Neighbors)
• 선형 회귀(Linear Regression)
• 로지스틱 회귀(Logistic Regression)
• 서포트 벡터 머신(SVM, Support Vector Machine)
• 결정 트리(Decision Tree)와 랜덤 포레스트(Random Forest)
• 신경망(Neural Network)

비지도 학습(Unsupervised Learning)

비지도 학습(Unsupervised Learning)은 지도 학습에서 필요했던 레이블이 필요하지 않습니다. 

시스템이 아무런 도움 없이 학습해야 합니다.아래는 가장 중요한 비지도 학습 알고리즘입니다.

• 군집(Clustering)
  - K-평균(k-Means)
  - 계층 군집 분석(HCA, Hierarchical Cluster Analysis)
  - 기댓값 최대화(Expectation Maximization)
  
  
• 시각화(Visualization)와 차원 축소(Dimensionality Reduction)
  - 주성분 분석(PCA, Principal Component Analysis)
  - 커널 PCA(Kernel PCA)
  - 지역적 선형 임베딩(LLE, Locally-Linear Embedding)
  - t-SNE(t-distributed Stochastic Neighbor Embedding)
  
  
• 연관 규칙 학습(Association Rule Learning)
  - 어프라이어리(Apriori)
  - 이클렛(Eclat)

시각화 알고리즘은 레이블이 없는 대규모의 고차원 데이터를 넣으면 도식화가 가능한 2D나 3D 표현을 만들어줍니다.

차원 축소는 너무 많은 정보를 잃지 않으면서 데이터를 간소화하는데 사용됩니다. 예를 들어 차의 주행거리는 연식과 매우 연관되어 있으므로 차원 축소 알고리즘으로 두 특성을 차의 마모 정도를 나타내는 하나의 특성으로 합칠 수 있습니다. 이를 특성 추출(Feature Extraction)이라고 합니다.

이상치 탐지는 학습 알고리즘에 주입하기 전에 데이터셋에서 이상한 값을 자동으로 제거하는 작업입니다. 정상 샘플로 훈련되고, 새로운 샘플이 정상인지 아닌지 판단합니다.

연관 규칙 학습은 대량의 데이터에서 특성 간의 흥미로운 관계를 찾습니다. 어떠한 상품을 구매한 사람이 다른 상품을 구매하는 경향이 있다는 것을 찾을 때 활용합니다.

준지도 학습(Semisupervised Learning)

준지도 학습(Semisupervised Learning)에서는 레이블이 일부만 있어도 데이터를 다룰 수 있습니다. 

대부분의 준지도 학습 알고리즘은 지도 학습과 비지도 학습의 조합으로 이루어져 있습니다.

구글 포토 호스팅 서비스가 좋은 예로, 이 서비스에 가족사진을 모두 올리면 사람 A는 사진 1, 5, 11에 있고, 사람 B는 사진 2, 5, 7에 있다고 자동으로 인식합니다.

이는 비지도 학습입니다. 이제 시스템에 필요한 것으로 이 사람들이 누구인가 하는 정보입니다. 사람마다 레이블이 하나씩만 주어지면 사진에 있는 모든 사람의 이름을 알 수 있고,

편리하게 사진을 찾을 수 있습니다.

예를 들어 심층 신뢰 신경망(Deep Belief Network)은 여러 겹으로 쌓은 제한된 볼츠만 머신이라 불리는 비지도 학습에 기초합니다.

RBM이 비지도 학습 방식으로 순차적으로 훈련된 다음 전체 시스템이 지도 학습 방식으로 세밀하게 조정됩니다.

강화 학습(Reinforcement Learning)

Reference

• 오렐리앙 제롱, '핸즈온 머신러닝', 한빛미디어, 2018

1. 텐서플로를 이용한 파라미터 최적화

'머신러닝의 개념'에서 이용한 평균 기온 예측의 예를 사용하여 그 다음 단계에 대한 진행 방법을 설명하도록 하겠습니다.

텐서플로의 구조를 이해하는 포인트가 되기 때문에 수식을 사용하여 정확하게 설명하겠지만, 세세한 내용을 모두 이해할 필요는 없습니다.

실제로 여기서 수행하는 계산은 텐서플로가 자동적으로 수행하기 때문에, 각각의 수식이 어떠한 의미를 가지고 있는지를 파악하는 것이 좋습니다.

이 예에서는 파라미터의 좋고 나쁨을 평가하는 기준으로 오차 함수 E를 준비했습니다(식 1-1). '머신러닝 모델의 3단계'에서 2단계에 해당하는 부분입니다. 

식 1-1에 포함되는 파라미터 𝑤₀ ~ 𝑤₄의 값을 변경하면 오차 함수 E의 값도 변화하므로 이는 파라미터 𝑤₀ ~ 𝑤₄의 함수라고 볼 수 있습니다.

<수식 1-1. 파라미터 𝑤₀ ~ 𝑤₄에 대한 함수와 오차함수 E>

식 1-1에 포함된 𝑦𝑛은 𝑛월(𝑛 = 1 ~ 12)의 기온을 식1-1의 상단 식으로 예측한 결과를 나타냅니다.

즉, 식 1-1의 상단 수식에 𝑥 = 𝑛을 대입한 것이 𝑦𝑛 입니다.

<수식 1-2. 시그마를 이용하여 간단히 표현>

수열의 합을 나타내는 기호 시그마(∑)로 다시 쓴 부분에서는 임의의 𝑛에 대해 𝑛⁰ = 1이 되는 관계를 이용합니다.

수식 1-2를 식 1-1에 대입하면 아래의 식이 얻어집니다.

<수식 1-3. 수식1-2를 수식1-1에 대입한 것>

수식 1-3에는 다양한 기호가 포함되어 있는데, 미지의 파라미터는 𝑤₀ ~ 𝑤₄뿐이라는 점에 주의하시기 바랍니다.

수열의 합을 나타내는 기호 시그마(∑)에 포함되는 𝑚과 𝑛은 루프를 돌리기 위한 로컬 변수로 볼 수 있으며, 𝑡𝑛은 그림 1-3에 주어진 월별 평균 기온의 구체적인 관측값이 됩니다.

이렇게 해서 오차 함수 E의 구체적인 모양을 알게 되었으므로 다음은 3단계로서 수식 1-3의 값을 최소로 하는 𝑤₀ ~ 𝑤₄를 결정합니다.

기호가 많아 복잡하게 보이지만, 𝑤₀ ~ 𝑤₄의 함수로 보면 2차 함수에 불과합니다. 

구체적으로는 수식 1-3을 𝑤₀ ~ 𝑤₄각각으로 편미분한 값을 0으로 하는 다음과 같은 연립방정식을 푸는 것입니다.

*편미분이란, 복수의 변수를 갖는 함수에 대해 특정한 하나의 변수로 미분하는 것을 말합니다. 
변수가 하나인 함수 𝑦 = 𝑓(𝑥)의 최대값 / 최소값을 구할 때 미분계수를 0으로 하는 다음 방정식을 풀었는데, 본질에서는 이와 같은 것입니다.

<수식 1-4. 점 𝑥에서의 기울기>

1변수 함수 𝑓(𝑥)의 경우 그 미분계수는 점 𝑥에서 그래프의 기울기를 나타냅니다. 𝑓(𝑥)가 최대/최소가 되는 점에서는 그래프의 기울기가 0이 되므로 수식 1-4가 성립합니다.

다만, 엄밀하게는 그림 1-1과 같이 최대, 최소, 극대, 극소, 정류점(변곡점) 등 몇 군데서 수식 1-4가 성립합니다.

이를테면 𝑓(𝑥)가 최솟값만을 갖는 함수라고 알고 있다면 수식 1-4로 결정되는 𝑥가 𝑓(𝑥)를 최소로 하는 값이라고 단언할 수 있습니다.

<그림 1-1. 그래프의 기울기가 0이 되는 지점>

한편, E(𝑤₀, 𝑤₁, 𝑤₂, 𝑤₃, 𝑤₄)와 같은 다변수 함수의 경우는 어떻게 될까요? 여기서는 간단히 설명하기 위해 다음 2변수 함수의 경우를 생각해보도록 하겠습니다.

<수식 1-5. 2변수 함수 예시>

수식 1-5와 같은 경우 편미분은 다음과 같이 간단히 계산할 수 있습니다.

<수식 1-6. 수식 1-5를 편미분한 결과>

또한, 이를 나열한 벡터를 다음 기호로 나타내며 함수 ℎ(𝑥₁, 𝑥₂)의 '기울기 벡터(Gradient Vector)'라고 합니다.

1변수 함수의 미분계수는 그래프의 기울기라는 의미가 있는데, 이와 마찬가지로 기울기 벡터에도 도형에서의 의미가 있습니다.

먼저, (𝑥₁, 𝑥₂)를 좌표로 하는 평면을 생각하고, 𝑦 = ℎ(𝑥₁, 𝑥₂)의 그래프를 그리면 그림 1-2와 같이 절구 모양의 도형이 그려집니다.

기울기 벡터 ∇ℎ(𝑥₁, 𝑥₂)는 절구 벽면을 올라가는 방향과 일치하고, 그 크기 ||∇ℎ(𝑥₁, 𝑥₂)|| 는 벽을 오르는 기울기와 일치합니다.

절구 벽면의 기울기가 클수록 기울기 벡터도 길어지는 것입니다.

<그림 1-2. 2변수 함수의 기울기 벡터>

따라서 임의의 점 (𝑥₁, 𝑥₂)에서 출발해서 기울기 벡터와 반대 방향으로 나아가면 절구의 벽면을 내려감과 동시에 기울기 벡터의 크기는 점점 작아집니다.

이 예의 경우, 최종적으로 원점 (0, 0)에 도달했을 때 ℎ(𝑥₁, 𝑥₂)는 최소가 되고, 기울기 벡터의 크기도 0이 됩니다.

즉, ℎ(𝑥₁, 𝑥₂)를 최소로 하는 (𝑥₁, 𝑥₂)는 ∇ℎ(𝑥₁, 𝑥₂) = 0라는 조건으로 정해집니다.