연관도 계산과 기계학습을 이용한 주제 기반 웹 수집기 - 서혜성 (The Graduate School, Ajou University, 2005)
인터넷을 사용하는 사람들에게 그들의 관심사와 부합하는 웹 페이지를 제공하는 것은 필수 불가결 하다. 이러한 관점에서 본 논문은 각 웹 페이지의 주제와 연관된 정도 (degree of relevance)를 계산하며, 단어빈도/문서빈도 (term frequency/document frequency), 엔트로피 (entropy) 및 컴파일된 규칙을 이용하여 수집된 웹 페이지를 정제하는 주제 기반 웹 수집기 (topic-specific Web crawler)를 제안한다. 실험을 통하여 주제 기반 웹 수집기에 대한 분류의 정확성, 수집의 효율성 및 수집의 일관성을 평가하였다. 77개의 대표적인 단어를 사용하여 실험한 경우, 수집된 결과가 주어진 주제와 부합하는 분류 정확성은 평균 90.2% 로 측정되었다.
학위논문(석사)--아주대학교 정보통신전문대학원 :정보통신 공학과,2005