[연구일지] 기존 Topic Modeling의 한계

상위 토픽으로 모아진 뉴스 기사, 그리고 기타 정보를 담은 글을, 하위 토픽별로 재분류하는 연구를 진행하며

대량의 문서 데이터 내에서 unsupervised하게 토픽을 추출하고 동시에 클러스터링까지 진행하는 것을 Clustering Topic Modeling이라고 한다.

 

1. Topic Modeling의 한계

그런데, 특히 뉴스와 같이 사건을 다룬 글들을 클러스터링하는 과정에서 기존 Topic Modeling만으로는 한계를 가지고 있다.

현재 Benchmark로 삼고 있는 Top2Vec의 경우를 살펴보면,

https://github.com/ddangelov/Top2Vec

GitHub - ddangelov/Top2Vec: Top2Vec learns jointly embedded topic, document and word vectors.

 

Top2Vec 모델을 활용한 Topic 추출 예시

위는 Top2Vec 모델 학습 후에, 특정한 클러스터 내 문서의 의미를 포괄하는 단어 상위 50개의 리스트이다.

Topic Modeling의 기본 아이디어가 글의 주제가 될 수 있는 추상적이거나 구체적인 단어를 찾는 것을 목적으로 하다보니, 이런 형식으로는 WordCloud와 같은 시각화가 최선이며, 아래와 같은 문제점들을 가지고 있다.

1. 해당 클러스터가 내포하는 사건, 주장을 알 수 없다.
2. 정보량의 부족으로 각 클러스터 간의 관계를 파악하기 어렵다.

이를 보완하기 위해서 먼저

각 클러스터가 시사하는 내용을 더 자세하게 이해할 수 있도록 정보량을 높이고,

해당 내용을 기반으로 클러스터 간의 관계성을 파악할 수 있도록 하는 것이다.

 

2. Large Language Model의 한계

한편,

최근 비약적인 발전을 이루어낸, LLM(Large Language Model)으로 모든 문서의 내용을 복합적으로 이해하고, 다시 이 정보들을 가지고 그 관계성을 이해하고자 하는 아주 naive한 아이디어를 떠올릴 수도 있다.

하지만, 이는 아래와 같은 이유로 현실적으로 불가능하다.

1. API based 서비스 이용 시, Token 수의 제한으로 긴 문서에 적용이 불가하다.
2. 높은 연산 리소스 사용으로, 경제적이지 않다. 한 문서에 10원이어도 적어도 하나의 주제 당 10000개의 문서, 10만 원이라는 너무 비싼 방법이 된다.

3. 결론

기존 Topic 모델링보다 Interpredability, 즉 결과를 보고 이 Cluster의 토픽이 무엇인지 이해하는 정도를 극적으로 높이기 위해,

Clusters의 Topic을 추론하는 방법으로, LLM에 대한 적절한 query의 INPUT과 OUTPUT을 설계하여 이를 활용할 수 있겠다는 결론에 다다른다.