caret 패키지 설치가 안되는 곳에서 ML 분석을 하려면, 해당 패키지를 직접 설치하고 직접 분석 코드를 작성해야 한다. caret이 설치가 안되는 이유는 패키지 설치에 필요한 gcc 등의 컴파일러와 R 버젼의 문제이다. 하아..
어쨋든, 쉬운 random forest 부터 해결해보자. 직접 코딩해 주어야 하는 것은 다음과 같다. caret을 이용할 경우에도 hyperparameter tuning은 직접 해줘야 하기는 하지만 말이다.
- mtry나 ntree 튜닝
- 최적의 mtry와 ntree 값
- training과 validation 셋 분할
- cross validation 과정과 결과 취합
공식 문서를 참고하면 다음과 같이 설정해 주면 될 것이다.
우선 training과 validation 셋 분할
ind <- sample(2, nrow(iris), replace = TRUE, prob=c(0.8, 0.2))
iris.rf <- randomForest(Species ~ ., data=iris[ind == 1,])
iris.pred <- predict(iris.rf, iris[ind == 2,])그리고 결과 확인.
> table(observed = iris[ind==2, "Species"], predicted = iris.pred)
predicted
observed setosa versicolor virginica
setosa 10 0 0
versicolor 0 6 1
virginica 0 1 15Accuracy는 직접 구해야 한다. 편하게 다음과 같이 해본다.
> a = table(observed = iris[ind==2, "Species"], predicted = iris.pred)
> suma = 0 ;for (i in seq(nrow(a))){suma = suma + a[i, i]}
> suma/sum(a)
[1] 0.9393939
파라미터 튜닝은 다음과 같이 하는 것 같다. Ntree와 Mtry의 값을 변수로 입력하고 결과를 반복한 다음 최적의 결과가 나오는 것을 선택한다. OOB가 낮은 것을 선택한다고 한다.
> a = randomForest(Species ~. , data=iris, ntree=i, mtry=j, na.action = na.omit)
## a$err.rate의 마지막 열의 첫 번째 값이다. 따라서,
> tail(a, 1)[1]
[1] 0.04666667
Kappa 상관 계수도 구해보자. 참값과 예측값이 있으니까 관찰자는 2개로 보면 된다. 그러면 그룹을 어떻게 나누느냐에 따라서 계산을 해주면 된다. 2×2 형식은 unconquered (daum.net), 3×3 형식은 hckappa (unl.edu)를 참고했다. 코딩하기에 편한 쪽은 오히려 3×3에서의 설명이다.
Kappa를 구하기 위해서 필요한 것은 N, sum(a), sum(ef) 이다. N과 sum(a)는 쉽게 구할 수 있으니 sum(ef)를 보자. 2×2 쪽 블로그 설명에 의하면 관찰자가 우연히 그것으로 판단할 확률을 구하는 것이라고 보면 된다. 그래서 expected frequency의 약자를 이용했다. [1,1]이 9가 왜 5.42로 계산이 되는지만 알면 된다.
(9+3+1)*(9+4+2)/36 = 5.42배울 수록 느는 것은 요령이라서, R의 함수로 만들어 본다. 입력값은 NxN 테이블 형식이다.
kappa = function(table){
total_number = sum(table)
agree_number = 0; expected_number = 0
for (X in seq(nrow(table))){
agree_number = agree_number + table[X, X]
expected_number = expected_number +
(sum(table[X, ])*sum(table[, X]))/total_number
}
print((agree_number-expected_number)/(total_number-expected_number))
}
이와 같은 방법으로 앞서 예시로 든 자료의 Kappa를 측정하면 0.935로 계산된다.
