LLM-강화 음향-텍스트 정렬을 통한 제로샷 호흡음 분류

LLM-강화 음향-텍스트 정렬을 통한 제로샷 호흡음 분류

연구는 이용 가능한 메타데이터로부터 구조화된 의료 보고서를 생성하는 LLM을 활용해 호흡음 인코더를 임상 의미와 연결하고, 학습의 의미적으로 풍부한 앵커를 형성하도록 하는 방법을 제시한다.

학습은 시그모이드 기반 대조 손실, 인코더의 자기지도 목표, 유사성 인식 부정 샘플링을 혼합해 병리적 상태와 비병리적 상태를 더 뚜렷하게 구분하도록 한다.

아홉 가지 태스크를 여섯 개 데이터셋에서 평가한 결과, 제로샷 평균 AUC 61.3%를 보고하며, 더 큰 기반 모델이 사용하는 데이터의 43%만으로도 선형 탐지 AUC 71.6%를 달성하는 등 기존 모델을 능가한다.

Why it matters: 구조화된 의미 정렬이 LLM 생성 앵커를 통해 제로샷 진단을 개선할 수 있음을 보여주며, 의료 음성 태스크에서 필요한 라벨링 데이터를 줄일 가능성이 있다.

AI-assisted brief