나의 공부기록

VLM-R1: A Stable and Generalizable R1-style Large Vision-Language Model논문의 내용을 요약한 것 입니다. 연구 배경 & 목표 최근 DeepSeek-R1 등 규칙 기반 보상(rule-based reward)을 활용한 RL이LLM의 추론 능력을 극적으로 향상시킨 사례가 나오면서,“이걸 VLM에도 적용하면 시각적 추론도 좋아질까?”라는 질문이 생겼습니다.논문 VLM-R1은 이 질문에 답하기 위해R1-style RL을 Vision-Language Model(VLM)에 적용하는 전용 프레임워크를 제안하고,REC(Referring Expression Comprehension)와 OVD(Open-Vocabulary Object Detection) 태스크에서RL의..

Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspective논문의 내용을 요약한 것 입니다.연구 배경 & 문제의식 자율주행 시스템에 VLM(Vision-Language Model)을 적용하려면 신뢰성이 핵심입니다.하지만 지금까지의 연구는 “VLM이 자율주행 시나리오에서 해석 가능한 의사결정을 제공할 것”이라는 가정만 있었을 뿐,시각적 근거가 얼마나 탄탄한지 체계적으로 검증하지 않았습니다.이 논문은 DriveBench라는 새로운 벤치마크 데이터셋을 만들어,VLM이 실제 주행에서 얼마나 믿을 만한 답변을 내놓는지 평가합니다.DriveBench: 데이터셋 & 벤치마크구성:총 1..

FastVLM: Efficient Vision Encoding for Vision Language Models해당 논문을 요약한 내용입니다. 최근 Vision-Language Model(VLM)은 텍스트가 풍부한 이미지를 이해해야 하는 다양한 작업에서 뛰어난 성능을 보이고 있습니다. 하지만 고해상도 이미지를 처리하려면 Vision Encoder의 연산량이 급격히 증가하고, Time-To-First-Token(TTFT)이 느려지는 문제점이 있습니다. 이번 논문은 이 문제를 해결하기 위해 FastVLM과 FastViTHD라는 새로운 접근법을 제안합니다.연구 배경 및 문제 정의기존 문제:ViT-L/14 같은 대형 Vision Transformer는 해상도를 올리면 토큰 수가 급격히 증가 → 연산량 폭증인코딩 ..