나의 공부기록

Lost in Embeddings: Information Loss in Vision–Language Model해당 논문을 요약한 내용 입니다. 연구 배경 & 문제의식 Vision-Language Models(VLMs)는 이미지와 텍스트를 같은 임베딩 공간으로 매핑하여 질문 답변, 이미지 캡셔닝, 검색 등 다양한 작업을 수행합니다.하지만 connector(이미지 임베딩 → 언어 모델 입력으로 변환하는 모듈)에서 시각 정보가 손실되면 모델 성능이 떨어질 수 있습니다.이 논문은 connector가 시각적 기하·의미 정보를 얼마나 보존하는지를 정량화하고,이 손실이 실제 다운스트림 작업 성능에 어떤 영향을 미치는지 평가하기 위한 두 가지 보완적 접근을 제안합니다.방법론 (Methodology)k-NN Overl..

IntrEx: A Dataset for Modeling Engagement in Educational Conversations위 논문을 요약한 내용 입니다. 연구 배경 & 문제의식 제2외국어 학습(second-language acquisition) 환경에서 *학습자 참여(engagement)*는 학습 효과와 직결되는 핵심 지표입니다.하지만 지금까지의 연구는 텍스트의 흥미도(interestingness) 자체에만 초점을 맞추었고,대화(conversation) 속에서 어떤 언어적 특징이 참여를 유도하는지에 대해서는 거의 알려지지 않았습니다.이번 논문은 이를 해결하기 위해교사-학생 대화의 흐름 속에서 참여도를 정량화한 IntrEx 데이터셋을 제안합니다.IntrEx는 interestingness와 expecte..

Why Language Models Hallucinate논문을 요악한 내용 입니다.연구 배경 & 문제의식LLM이 생성하는 **환각(hallucination)**은 실제 응용에서 가장 큰 문제 중 하나입니다.환각이란 모르면서 아는 척하고, 그럴듯하지만 사실과 다른 응답을 내놓는 현상입니다.이 논문은 환각을 “모델의 실수”로만 보지 않고,훈련·평가 절차 자체가 ‘추측’을 보상하도록 설계된 구조적 문제라고 분석합니다.즉, LLM은 “모른다”라고 말하는 것보다 “틀려도 찍는다”가 더 높은 점수를 받기 때문에학습과정에서 점점 자신감 있는 추측을 하도록 진화한다는 것이 핵심 주장입니다.환각의 통계적 원인 (Pretraining 단계)저자들은 환각을 이진 분류 문제로 환원해 설명합니다.훈련 데이터는 (+) 유효 출력..

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLMFine-Tuning Data from Unstructured Document논문을 요약한 내용 입니다. 왜 Easy Dataset인가?최근 대규모 언어 모델(LLM)의 도메인 적응(domain adaptation) 수요가 폭발적으로 증가하고 있습니다.의료, 금융, 법률, 제조 등 각 산업마다 전문 지식이 필요한데,이런 지식은 대부분 비정형 문서에 담겨 있고, 데이터셋으로 바로 쓰기 어렵습니다.기존 접근은PDF → OCR → 텍스트 추출 → 수동 QA 작성 → 모델 학습이런 식으로 비효율적이고, 사람 손이 많이 갔습니다.Easy Dataset은 이 과정을 엔드투엔드 자동화하면서사용자..

VLM-R1: A Stable and Generalizable R1-style Large Vision-Language Model논문의 내용을 요약한 것 입니다. 연구 배경 & 목표 최근 DeepSeek-R1 등 규칙 기반 보상(rule-based reward)을 활용한 RL이LLM의 추론 능력을 극적으로 향상시킨 사례가 나오면서,“이걸 VLM에도 적용하면 시각적 추론도 좋아질까?”라는 질문이 생겼습니다.논문 VLM-R1은 이 질문에 답하기 위해R1-style RL을 Vision-Language Model(VLM)에 적용하는 전용 프레임워크를 제안하고,REC(Referring Expression Comprehension)와 OVD(Open-Vocabulary Object Detection) 태스크에서RL의..

Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspective논문의 내용을 요약한 것 입니다.연구 배경 & 문제의식 자율주행 시스템에 VLM(Vision-Language Model)을 적용하려면 신뢰성이 핵심입니다.하지만 지금까지의 연구는 “VLM이 자율주행 시나리오에서 해석 가능한 의사결정을 제공할 것”이라는 가정만 있었을 뿐,시각적 근거가 얼마나 탄탄한지 체계적으로 검증하지 않았습니다.이 논문은 DriveBench라는 새로운 벤치마크 데이터셋을 만들어,VLM이 실제 주행에서 얼마나 믿을 만한 답변을 내놓는지 평가합니다.DriveBench: 데이터셋 & 벤치마크구성:총 1..

FastVLM: Efficient Vision Encoding for Vision Language Models해당 논문을 요약한 내용입니다. 최근 Vision-Language Model(VLM)은 텍스트가 풍부한 이미지를 이해해야 하는 다양한 작업에서 뛰어난 성능을 보이고 있습니다. 하지만 고해상도 이미지를 처리하려면 Vision Encoder의 연산량이 급격히 증가하고, Time-To-First-Token(TTFT)이 느려지는 문제점이 있습니다. 이번 논문은 이 문제를 해결하기 위해 FastVLM과 FastViTHD라는 새로운 접근법을 제안합니다.연구 배경 및 문제 정의기존 문제:ViT-L/14 같은 대형 Vision Transformer는 해상도를 올리면 토큰 수가 급격히 증가 → 연산량 폭증인코딩 ..

최근 저는 8명의 팀원과 함께 반려동물 관리 서비스 앱 프로젝트에 참여했습니다. 이 앱은 단순한 예약 시스템이 아니라, 반려견의 이미지를 기반으로 품종, 털색, 털길이, 몸무게를 예측하고, 병원 예약 및 내장칩 프로필 등록까지 관리할 수 있는 올인원 솔루션을 만드는 것이 목표였습니다.프로젝트 목표애완견을 키우는 보호자라면 누구나 한 번쯤 병원 예약, 예방접종 스케줄 관리, 반려견의 프로필 정리에서 불편함을 느낀 적이 있을 겁니다. 우리 팀은 이런 불편함을 줄이고, 보호자와 반려동물 모두가 편안한 환경에서 생활할 수 있도록 AI 기반 반려동물 관리 앱을 개발했습니다. 앱에서 반려견의 이미지를 업로드 → AI가 품종, 털색, 털길이, 몸무게를 예측예: "포메라니안, 흰색, 장모, 5kg"예측 결과를 기반으..

지난 2024년 여름, 저는 항해커톤 2024에 지원했고 10:1이라는 치열한 경쟁률을 뚫고 최종 50인 안에 선발되었습니다. 이번 해커톤은 ‘세상을 구하는 AI 서비스’라는 주제로, 오픈소스 AI를 활용하여 실제 사회 문제를 해결할 수 있는 서비스를 만드는 것이 미션이었습니다.저는 AI 및 백엔드 개발을 담당했고, 3명의 개발자(프론트엔드 2명, 백엔드 1명)와 함께 ‘헬렌켈러’라는 팀명으로 도전했습니다. 이틀간 무박으로 달린 끝에 저희 팀은 공동 4위로 특별상을 수상하게 되었고, 이 과정에서 많은 기술적 경험과 교훈을 얻을 수 있었습니다.문제 정의와 프로젝트 목표시각장애인에는 완전히 시력을 잃은 전맹도 있지만, 사실 상당수는 저시력 시각장애인입니다. 이들은 앞이 전혀 안 보이는 것이 아니라, 흐릿하게..

"데이터 분포가 변했는데, 모델을 다시 학습하는 과정을 자동화할 수 없을까?"Auto-Retraining은 데이터 드리프트나 성능 저하 발생 시모델 재학습을 자동으로 실행해 모델 성능을 지속적으로 유지하는 MLOps 전략입니다. Auto-Retraining이란?Auto-Retraining은 모델 모니터링 시스템에서 이상 징후(데이터 드리프트, 성능 하락 등)를 감지하면자동으로 다음 단계를 수행하는 파이프라인입니다:새로운 데이터 수집 및 검증데이터셋 버전 업데이트모델 재학습성능 평가 및 기준 통과 시 자동 배포왜 중요한가?데이터 드리프트 → 모델 성능이 점점 하락수동 재학습 → 사람 개입 필요 → 느린 대응, 서비스 품질 저하자동화 → 신속 대응, 모델 성능 유지, 운영 비용 절감Auto-Retrainin..