[업무 자동화] 선거 지역구 내 학교 리스트 추출

화성오산 내 초·중·고등학교 목록.head()

 

지역구 관내 초·중·고등학교에 공문을 보낼 일이 생겼다.

하지만, 시도별 구분도 아니고 특정 선거 지역구에 소재한 학교 데이터는 존재하지 않았다.

문제를 정리하고 해당 데이터를 구축한 경험을 공유하고자 한다.

1. TASK

특정 지역구에 있는 초등학교, 중학교, 고등학교의 리스트를 추출한다. FAX 번호도 필요하다.

2. DATA SOURCE

경기도화성오산교육지원청 관내학교현황 (엑셀 다운로드)

3. APPROACH

지번 주소를 기반으로 필터링한다.

예를 들어, 지번 주소에 병점동이 언급되면 화성병 지역구에 소재한 학교이다.

4. PROBLEM

문제는 교육지원청에서 제공하는 엑셀 데이터의 경우, 도로명 주소가 기재되어 있다.

따라서 이를 지번 주소로 바꿔주는 작업이 필요하나, 화성과 오산 산하의 초, 중, 고등학교가 230개이기 때문에 수작업은 조금 힘들다...

GPT도 사용을 시도하였으나, API key를 달라고 한다. 추천해 준 API 문서를 둘러보니, 도로명 주소 → 지번 주소를 알고 싶은 나의 니즈와는 결이 달라서 자동화 코드를 직접 작성하는 것으로 노선을 틀었다.

이런 느낌으로 자동화 가능하지 않을까?

 

import requests
from bs4 import BeautifulSoup

def get_result_address(roadNameAddress: str) -> str:
    urlBase = "https://www.juso.go.kr/support/AddressMainSearch.do?searchKeyword="
    roadNameAddress = roadNameAddress.replace(" ", "+")
    try:
        # URL에 GET 요청 보내기
        response = requests.get(urlBase + roadNameAddress)
        response.raise_for_status()  # HTTP 오류가 있는 경우 예외 발생

        # HTML 파싱
        soup = BeautifulSoup(response.text, 'html.parser')

        # 클래스가 'mark type_2'인 요소 선택
        mark_element = soup.select_one('.mark.type_2')
        
        if mark_element and mark_element.find_next_sibling():
            # 다음 형제 요소의 텍스트 가져오기
            lot_address = mark_element.find_next_sibling().get_text(strip=True)
            
            # 탭과 줄바꿈 제거
            result_address = lot_address.replace('\t', '').replace('\n', '')

            # 결과 출력
            if result_address:
                return result_address
            else:
                raise ValueError("일치하는 결과가 없습니다.")
        else:
            raise ValueError("일치하는 결과가 없습니다.")
    except Exception as e:
        return f"에러 발생: {e}"

# 함수 사용 예시
query = "경기도 오산시 수청로 204-20"
print(get_result_address(query))

Dependency: request, beautifulsoup4

의도했던 결과가 출력된다.

 

딸깍 몇 번과 약간의 코드 수정으로 금방 코드를 만들었다.

 

대부분의 케이스에서 의도대로 작동하였다.!

 

regex가 작동하지 않는 예외는 아래와 같이 우편번호가 병기되어 있는 경우였다.

경기도 오산시 세마문학로 45  우편번호 18102

 

지역구 동을 기준으로 필터링하고 남은 것은 FAX 번호 추출인데, 형식이 너무 복잡했다 😭

결국 regex로 하기에는 역부족하다고 판단하여, 60여 개교의 FAX 번호는 수동으로 Ctrl+C, Ctrl+V 했다.

 

다시 선거 지역구 소재의 학교를 정리하며, 기존 데이터에서 누락되었던 27개교를 추가로 파악하고, FAX 번호까지 (그나마) 빠르게 수집할 수 있었다!

전체 코드는 아래 Github 링크를 참고해주세요 😉

Github Repository 바로가기

GitHub - inthree3/get-lot-number-address: 도로명 주소 → 지번 주소 변환기

 

※ 치명적인 문제를 발견했다.

1. 예를 들어, 문동과 일문동은 다른 지역인데 기존 알고리즘은 target에 두 경우 모두 해당한다고 판단했다.

2. 시가 다른데 동 이름만 같은 경우가 있었다.

 

이 문제를 해결하고 보니, 누락 데이터가 없는 것으로 파악되었다.

😭😭😭