Please enable JavaScript.

Coggle requires JavaScript to display documents.

LucyTopic - Coggle Diagram

- - - - 토픽 갯수를 직접 정해줘야 함
      - InterTopic Distance Map에서 가로축, 세로축이 나타내는 정보와 위치 설명이 부족함
      - bag-of-words 방식으로 단어 간의 의미적 관계 반영 x
      - 토픽 모델링 자체로 인사이트를 전달하기 부족함
      - Top N Term만으로는 완성된 의미를 전달할 수 없어 후가공이 많이 필요함
      - 영문 LDA 샘플
  - - - TF-IDF 기반의 토픽 표현의 한계
        
        요약 방법 제안
        
        abstractive summarization
    - - 단계별 성능 개선
        
        embedding 개선 방법 제안
        
        longformer
      - 토픽 모델링 성능 평가 모델
      - HyperParameter Tuning 기능 추가
  - - - Coherence Score
      - Diversity Score
      - 결론 :green_cross:
    - - 관찰 기반 접근 방식
        
        topN 단어에 대한 wordcloud
        
        clustering 결과 관찰
        
        기능 개선과도 연관있음
  - - - n_neighbors
    - - min_cluster_size
      - min_samples
  - - - Cleaning
      - Deduplication
    - - Sentence-Transformers
      - Longformer
    - - UMAP
    - - HDBSCAN
    - - Summarization
        
        Single Document
        
        Extractive Summarization
        
        Abstractive Summarization
        
        Single Document Selection for Summarization
        
        요약 모델을 위한 문서 선정 알고리즘
        
        Probabilities
        
        Google Search Rank
        
        Multi Document
- - - - 통계기반 토픽모델링
        
        LDA
  - - - 과정의 한계
        
        토픽 갯수를 직접 정해줘야 함
        
        토픽 모델링 시 사용자가 적절한 토픽 갯수를 정해야 하는 문제점
      - 성능적 한계
        
        bag-of-words 방식으로 단어 간의 의미적 관계 반영 x
      - 활용적 한계
        
        InterTopic Distance Map에서 가로축, 세로축이 나타내는 정보와 위치 설명이 부족함
        
        LDA 자체로 인사이트를 전달하기 부족함
        
        Top N Term만으로는 완성된 의미를 전달할 수 없어 후가공이 많이 필요함
      - 여성정책연구원 lda 진행 샘플
  - - - 전처리
        
        Cleaning
        
        Deduplication
      - 임베딩
        
        Sentence-Transformers
        
        longformer 변환
      - 차원 축소
        
        UMAP
      - 클러스터링
        
        HDBSCAN
      - 토픽 표현
        
        Summarization
        
        Single Document
        
        Abstractive Summarization
        
        Single Document Selection for Summarization
        
        요약 모델을 위한 문서 선정 알고리즘
        
        영향력 지수
        
        유의미한 문서 추출
        
        1 more item...
      - Time Series