:개를 고양이로 잘못 분류하는 경우 있음. 성능을 높이고자 한다.
100개의 mislabeled dev set example들 중에서 실제 개 사진이 얼마나 있는지 체크해본다.
ex1) 5개만이 개 사진이라면, 오류율 10% → 9,5% 만 낮아질 뿐
ex2) 50개가 개사진이라면, 오류율 10% → 5%로 많이 낮아짐.
즉, Ceiling : 문제에 대해 성능을 얼마나 해결할 수 있는가 (성능 상한) 을 고려하는 방법
parallel하게 수행할 수 있는 multiple ideas
아래의 오류 분석 matrix를 만든다.
알고리즘 오류의 몇퍼센트가 해당 category에서 나왔는지 확인한다.
잘못 인식된 데이터를 수동으로 분류하여 원인을 찾는다.
즉, False - Positive / False - Negative 를 찾아 알고리즘 개선 우선순위를 정한다.