데이터사이언스학과 데이터인텔리전스연구실 (Data Intelligence Lab, 지도교수 황상흠) 소속의 김지효 박사과정, 이슬비 석사과정이 기계학습/AI 분야의 국제 저명 학술대회인 International Conference on Learning Representations (ICLR) 2025에서 파운데이션 모델의 신뢰성 문제를 지적 및 이를 개선하는 연구를 발표했다.

해당 연구는 다양한 응용 분야에서 범용적으로 활용되고 있는 GPT와 같은 초거대 멀티모달 파운데이션 모델들 (LVLMs) 이 뛰어난 일반화 성능을 보유하고 있음에도 사용자가 제공한 정보의 범위 내에서만 의사결정을 내리려는 경향이 있다는 사실을 out-of-distribution detection (OoDD) 측면에서 확인하고, 이를 바탕으로 파운데이션 모델들의 일반화 성능 검증에 관련된 연구 진척도에 비해 이들의 안정성 및 신뢰성 측면의 연구는 충분히 제시 및 검토되지 않았던 부분을 지적한다.

아울러 해당 연구팀은 OoDD 측면에서 파운데이션 모델의 신뢰성을 검증할 수 있는 프레임워크를 제안하고 평가 및 비교했다. 추가적으로 이미 파운데이션 모델 자체가 뛰어난 일반화 성능을 보유하고 있다는 점에 주목해 모델의 기존 보유 성능만을 활용해 파운데이션 모델의 신뢰성을 향상시킬 수 있는 단순하면서도 효과적인 방법인 Reflexive Guidance (ReGuide) 를 제안했다.

본 연구는 파운데이션 모델의 안전한 활용을 위해 반드시 고려되어야 할 특성들을 검증할 수 있는 기반을 마련하고 관련 연구들을 촉진할 것으로 기대된다.

논문정보

• 학회명: International Conference on Learning Representations (ICLR) 2025
• 논문 제목: Reflexive Guidance: Improving OoDD in Vision-Language Models via Self-Guided Image-Adaptive Concept Generation
• 저자: Jihyo Kim*, Seulbi Lee*, Sangheum Hwang (*equal contribution)
• 논문 링크: https://openreview.net/forum?id=R4h5PXzUuU