머신러닝 평가 지표 완벽 정리 (MSE, AUC 등)

머신러닝 평가 지표 완벽 정리 (MSE, AUC 등)

📋 목차

• 왜 평가 지표가 중요한가?
• 회귀 문제의 평가 지표
• 분류 문제의 평가 지표
• 혼동 행렬과 정확도 분석
• AUC와 ROC 곡선 이해하기
• 지표 선택 시 고려사항
• FAQ

모델을 만들었는데, 이게 좋은 건지 나쁜 건지 어떻게 알 수 있을까요? 정답은 ‘평가 지표’를 보는 거예요. 성능을 수치로 말해주는 도구죠!

 

머신러닝 모델은 용도에 따라 회귀, 분류, 다중 분류 등 다양하게 나뉘기 때문에, 그에 맞는 평가 지표도 다르게 사용돼요.

 

내가 생각했을 때 모델보다 더 중요한 게 바로 '평가 기준'이에요. 어떤 수치로 좋고 나쁨을 판단하느냐에 따라 결과 해석이 완전히 달라지니까요.

 

이제부터 대표 지표인 MSE, RMSE, MAE, AUC, F1-score 등 각각이 어떤 상황에서 쓰이는지 쉽게 정리해볼게요!

 

왜 평가 지표가 중요한가?

모델을 학습시키는 것만큼 중요한 게 바로 '평가'예요. 성능이 얼마나 좋은지, 어떤 상황에서 잘 작동하는지를 정량적으로 확인해야 하니까요.

 

평가 지표는 모델의 예측값과 실제값 사이의 차이를 수치로 나타내 주는 기준이에요. 이 수치를 기준으로 모델을 선택하거나 개선할 수 있죠.

 

문제 유형에 따라 회귀 문제, 분류 문제, 다중 클래스 문제 등으로 나뉘며, 각각 다른 지표를 사용해요. 같은 수치를 써도 의미가 다르기 때문에 구분이 중요해요.

 

또한 평가 지표는 단순 정확도뿐 아니라 정밀도, 재현율, 손실 값 등 다양한 관점에서 모델을 이해하는 데 도움을 줘요.

회귀 문제의 평가 지표

회귀 모델은 연속된 숫자 값을 예측해요. 예: 집값, 날씨, 주식 가격 등. 이럴 땐 오차를 중심으로 모델 성능을 평가해요.

 

가장 기본적인 지표는 MSE(Mean Squared Error)예요. 예측값과 실제값의 차이를 제곱해 평균을 낸 값이에요. 작을수록 성능이 좋은 거죠.

 

RMSE(Root MSE)는 MSE의 제곱근을 취한 값으로, 실제 오차 단위를 그대로 볼 수 있어서 직관적이에요. 예: 예측 오차가 평균적으로 1.2도 정도다!

 

MAE(Mean Absolute Error)는 절대 오차의 평균이에요. MSE보다 이상치에 덜 민감해서 안정적인 평가가 필요할 때 자주 사용돼요.

분류 문제의 평가 지표

분류 문제는 어떤 카테고리에 속하는지를 맞히는 문제예요. 스팸메일 여부, 암 진단, 고객 이탈 예측 등에서 많이 사용돼요.

 

Accuracy(정확도)는 전체 중 맞힌 비율이에요. 직관적이지만, 불균형 데이터에선 성능을 잘 반영하지 못해요.

 

Precision(정밀도)은 '맞다고 한 것 중 실제로 맞은 비율', Recall(재현율)은 '실제로 맞아야 하는 것 중 얼마나 맞췄는가'를 의미해요.

 

F1-score는 정밀도와 재현율의 조화 평균으로, 두 성능을 함께 고려할 수 있어요. 불균형 데이터에 특히 중요해요!

 

혼동 행렬과 정확도 분석

혼동 행렬(Confusion Matrix)은 분류 결과를 표로 정리해 보여줘요. 실제 값과 예측 값의 조합으로 TP, FP, TN, FN을 알 수 있어요.

 

TP(True Positive): 맞다고 예측해서 맞은 것, FP(False Positive): 틀린데 맞다고 예측한 것, FN(False Negative): 맞는데 틀렸다고 예측한 것이죠.

 

이 표를 바탕으로 Accuracy, Precision, Recall, F1-score를 계산할 수 있어요. 모델이 어떤 실수를 많이 하는지도 알 수 있어서 유용해요.

 

예를 들어, 의료 분야에선 FP보다 FN(실제로 질병인데 놓친 경우)이 더 치명적일 수 있어서 Recall이 더 중요하게 여겨지기도 해요.

AUC와 ROC 곡선 이해하기

ROC(Receiver Operating Characteristic) 곡선은 민감도(Recall)와 1-특이도(False Positive Rate)를 축으로 그린 그래프예요. 모델의 분류 능력을 시각화해요.

 

AUC(Area Under Curve)는 ROC 곡선 아래 면적을 말해요. 1에 가까울수록 완벽한 모델, 0.5에 가까울수록 랜덤 예측이라는 뜻이에요.

 

AUC는 분류 임계값(threshold)을 변화시켜도 성능을 객관적으로 볼 수 있어서, 이진 분류 모델에서 가장 널리 사용돼요.

 

특히 데이터가 불균형한 상황에서도 AUC는 좋은 비교 기준이 될 수 있어요. Accuracy만으로는 숨겨진 성능을 놓칠 수 있거든요.

지표 선택 시 고려사항

어떤 지표를 써야 할지는 데이터와 문제 특성에 따라 달라요. 분류냐 회귀냐, 균형 데이터냐 불균형 데이터냐에 따라 다르게 접근해야 해요.

 

예를 들어 신용카드 부정 사용 탐지처럼 양성 클래스가 적은 경우엔 Accuracy보단 Recall과 AUC가 더 중요해요.

 

회귀 문제에서 MSE는 이상치에 민감하지만, MAE는 전반적인 평균 오차를 보기 좋아요. 상황에 맞게 쓰는 게 핵심이에요.

 

여러 지표를 함께 보고, 전체적인 성능을 입체적으로 이해하는 게 가장 좋아요!

📊 주요 머신러닝 평가 지표 비교표

지표	설명	사용 예시
MSE	오차 제곱의 평균	회귀 (예: 주가 예측)
F1-score	정밀도와 재현율의 조화 평균	불균형 데이터 분류
AUC	ROC 곡선 아래 면적	이진 분류 성능 비교
MAE	절대값 오차 평균	실생활 수치 예측

 

FAQ

Q1. MSE와 RMSE 중 어떤 게 더 좋나요?

 

A1. RMSE는 실제 오차 단위를 그대로 보여줘서 해석이 쉬워요. 직관적인 평가가 필요할 땐 RMSE가 좋아요.

 

Q2. Accuracy만 봐도 되지 않나요?

 

A2. 불균형 데이터에서는 Accuracy가 높아도 실제론 성능이 안 좋을 수 있어요. Precision, Recall도 꼭 확인하세요.

 

Q3. AUC가 0.5면 무슨 뜻인가요?

 

A3. 0.5는 완전 랜덤 예측과 같다는 뜻이에요. 모델이 예측을 잘하지 못하고 있다는 신호예요.

 

Q4. 회귀 모델에도 F1-score를 쓰나요?

 

A4. 아니에요! F1-score는 분류 문제 전용이에요. 회귀 문제엔 MSE, RMSE, MAE 등을 사용해요.

 

Q5. ROC 곡선은 어떤 상황에서 유용하죠?

 

A5. 이진 분류에서 모델의 민감도와 특이도를 시각적으로 비교할 때 유용해요. 임계값 변화에 따른 성능 차이를 볼 수 있어요.

 

Q6. Precision과 Recall 중 뭐가 더 중요한가요?

 

A6. 상황에 따라 달라요. 스팸 필터는 Precision이 중요하고, 질병 검출은 Recall이 더 중요해요.

 

Q7. F1-score가 높으면 좋은 모델인가요?

 

A7. 네, 특히 Precision과 Recall의 균형이 중요할 때 F1-score가 높다는 건 좋은 징조예요.

 

Q8. 다중 클래스 분류에도 AUC를 쓸 수 있나요?

 

A8. 네! One-vs-Rest 방식으로 각 클래스에 대해 AUC를 구한 뒤 평균을 내는 방식으로 적용할 수 있어요.