Please enable JavaScript.

Coggle requires JavaScript to display documents.

CT image captioning based on the pre-trained classfiers and a language…

- - - - 먼저, 병원으로부터 제공되는 데이터는 ICH에 대한 정보를 추출할 수 있는 데이터가 없기 때문에 뇌 CT 이미지에서 정상과 ICH를 분류하기 위해 kaggle에서 개최한 RSNA Intracranial Hemorrhage Detection 대회의 이미지 데이터와 이에 대한 ICH 다중 분류 레이블 데이터를 사용한다. kaggle에서 제공한 데이터는 DICOM 파일로 이루어져 있다. 따라서 ICH를 강조하기 위해 window level을 조정하고 가로와 세로를 224x224크기의 이미지로 변환하여 정제한다. 또한, CT 이미지에 대한 다중 레이블 데이터를 존재의 유무만을 판단하기 위해 이진 분류 레이블로 변경하여 정제된 CT 이미지와 함께 CNN 모델을 학습한다. CNN 모델에 사용되는 데이터에 대한 캡션은 존재하지 않는 관계로 훈련과 세스트 성능만을 확인하고 병원에서 제공된 데이터를 사용하여 훈련된 CNN을 거쳐 GPT-2 언어모델을 통한 캡셔닝을 진행한다.
    - - 병원에서 제공한 CT 영상 또한 DICOM 파일로 이루어져 있기 때문에 kaggle 데이터와 마찬가지로 이미지를 정제한다. 정제된 이미지를 사용하여 GPT-2 언어모델을 학습하기 위해 사전 학습된 CNN 모델을 사용하여 각각의 CT 이미지에 대해 ICH가 존재하는지 식별하고 식별된 시퀀스들을 하나로 묶어 특징벡터로 만든다. 특징벡터와 함께 사용되는 진료 텍스트들은 특수 문자 제거및 소문자 변환, 영어 이외의 글자는 제거하여 전처리 한다.
- - - - 예를 들어, 모델이 "The cat is on the mat"이라는 문장을 생성하였고, 이를 비교 대상인 "There is a cat on the mat"이라는 문장과 비교한다고 가정해보겠습니다. 이 경우, "The cat is on the mat"은 길이가 짧기 때문에 일치하는 n-gram이 더 많아질 가능성이 있습니다. 그러나, 이 문장은 원래 의미와는 다르기 때문에 일치도 점수가 높은 것은 의미가 없습니다.
        이를 방지하기 위해, 길이 패널티를 적용하여 모델이 생성한 문장의 길이가 짧은 경우 일치도 점수에 패널티를 부여합니다. 이를 통해, 모델이 짧은 문장을 더 쉽게 생성하는 것을 방지하고, 좀 더 의미 있는 문장을 생성하도록 유도합니다. 이렇게 패널티를 적용하여 모델의 성능을 더 정확하게 평가할 수 있습니다.
  - - - Intracranial Hemorrhage: Diagnosis and Management
      - Imaging of Intracranial Hemorrhage