2. 목표설정하기-단일 실수 평가 기준, 최적화 척도 만족시키기 (Andrew Ng이 알려주는 ML전략)

 

[목표설정하기-단일 실수 평가 기준]

https://youtu.be/sofffBNhVSo

Andrew Ng - single number evaluation metric

 

1. 머신러닝 프로젝트를 할 때 단일 실수 평가 기준(single real number evaluation metric)이 있다면 문제를 해결하는 과정이 더 빨라질 것이다.

단일 실수 평가 기준은 해당 사이클이 빨라지는 데 도움을 준다.

 

 

2. classifier(분류기)의 성능을 평가하는 합리적인 방법

1) precision(정밀도)와 recall(재현율)

precision : classifier가 고양이로 인식한 예시 중 진짜 고양이가 몇 퍼센트인지 recall : 실제 고양이 사진 중 몇 퍼센트가 정확히 인식되었는지

→ 두 지표는 trade-off 관계에 있다는 것이 알려져 있음

→ 두 가지를 결합한 새로운 평가기준이 필요 : F1 score

 

2) F1 score (F1 지수)

precision과 recall의 조화평균

 

3) 오차 평균

각 알고리즘별 오차의 평균을 내어 가장 낮은 평균 오차값을 가진 알고리즘 선택

 

 

3. 이렇듯 하나의 정량적인 평가 기준을 가짐으로써 모델에 대한 결정을 내릴 때 효율성을 향상시킬 수 있음

 

 

 

 

[목표설정하기-최적화 척도 만족시키기]

https://youtu.be/BH9mlmdXzzI

Andrew Ng - Satisficing and Optimizing Metrics

 

예제1. 최적의 cat classifier 선택하기

각 classifier별 accuracy와 running time 값이 아래와 같이 나왔을 때,

방법1. 선형적으로 두 척도를 계산

cost = (accuracy) - 0.5*(running time)

→ 해당 방법은 너무 인위적이고 적합하지 않음

 

방법2. Optimizing and Satisficing Metrics(최적화와 조건 척도)

1개의 척도를 Optimizing Metric으로 두고,

(n-1)개의 척도를 Satisficing Metric으로 두어 그 기준을 넘기만 하면 성능이 얼마나 좋든지 상관 없다고 하는 것

accuarcy가 최대인 분류기를 선택하되,  (Optimizing Metric)

running time이 100ms 보다 작은 것 중에 고르는 것  (Satisficing Metric)

→ 최고의 classifier를 선택하기가 더 명료해짐

 

 

예제2. trigger words detect system

아래와 같은 인공지능 스피커의 'trigger words'를 기기가 얼마나 잘 탐지하는가

• Amazon Echo "Alexa"
• Google home "ok google"
• Siri "hey siri"

- 평가 척도

  1) accuracy(얼마나 정확하게 시스템이 작동하는가)

  2) False-Positive(trigger word를 말하지 않은 경우에 기기가 반응하는 빈도)

 

→ 24시간 동안 False-Positive가 최대 한번 발생한다는 조건 하에,  (Satisficing Metric)

   accuracy가 최대인 경우를 선택  (Optimizing Metric)