[부스트코스] 숨어있는 결측치 처리 방법 (결측치가 없었는데요, 있었습니다.)

결측치: 측정되지 않은 수치, 무언가의 이유로 인해 측정/기록되지 않은 수치를 말한다. 본 포스팅에서는 인공지능 학습 데이터셋의 결측치를 다루고자 한다.

 

일반적으로 결측치는 np.nan 으로 표기된다.

np.nan이 열마다 얼마나 확인하기 위해서 df.info()를 사용하며, 결과 예시는 다음과 같다.

통신사 고객 이탈률 데이터 (telco-customer_churn)

 

상단의 표를 보면, 18번째 열인 "TotalCharges"에 11개의 null 값이 있다는 것을 확인할 수 있다.

그런데, 이게 결측치의 전부일까? 😈

 

1. number 결측치 찾아내기

첫 번째로, df.describe()을 실행한다.

 

이 함수는 숫자 계열의 데이터들의 평균, 편차, 중위값 등을 알려주는데 EDA(Exploraatory Data Analysis)적인 관점이 필요하다. tenure는 통신사 서비스의 가입 기간을 말하는데, min값이 0이다. 가입 기간이 0인 것이 이상하게 느껴지지 않는가?

 

더불어 중위값보다 평균값이 작은 것도 상대적으로 작은 값들이 많이 분포하고 있다는 의미이기에 이러한 숨어있는 결측치를 의심할 필요가 있다고 한다. (프로젝트로 배우는 데이터 사이언스 강좌 바로가기)

 

2. string(object) 결측치 찾아내기

두 번째로, 문자 자료형인 열에 결측치가 있는지 찾아본다.

 

우선, 자료형인 object인 column name들을 list화 한다. 

그리고 해당 column name을 순회하면서 unique()를 사용하여, 각 열마다 특이값들을 출력한다.

이를 통해 해당 열에 빈문자열이 있거나, 결측치로 보이는 데이터가 있다면 number의 경우에서처럼 replace와 dropna() 등으로 처리해줄 수 있다.

 

놓칠 수 있는 결측치가 있다는 것, 그리고 이를 확인하는 방법 모두 흥미롭다 🌟