나의 공부기록

지난 2024년 여름, 저는 항해커톤 2024에 지원했고 10:1이라는 치열한 경쟁률을 뚫고 최종 50인 안에 선발되었습니다. 이번 해커톤은 ‘세상을 구하는 AI 서비스’라는 주제로, 오픈소스 AI를 활용하여 실제 사회 문제를 해결할 수 있는 서비스를 만드는 것이 미션이었습니다.저는 AI 및 백엔드 개발을 담당했고, 3명의 개발자(프론트엔드 2명, 백엔드 1명)와 함께 ‘헬렌켈러’라는 팀명으로 도전했습니다. 이틀간 무박으로 달린 끝에 저희 팀은 공동 4위로 특별상을 수상하게 되었고, 이 과정에서 많은 기술적 경험과 교훈을 얻을 수 있었습니다.문제 정의와 프로젝트 목표시각장애인에는 완전히 시력을 잃은 전맹도 있지만, 사실 상당수는 저시력 시각장애인입니다. 이들은 앞이 전혀 안 보이는 것이 아니라, 흐릿하게..

"단일 GPU로 13B 모델 파인튜닝 가능?"QLoRA는 4-bit 양자화와 LoRA를 결합해 메모리 사용을 극도로 줄여주는 혁신적인 기법입니다. QLoRA란?QLoRA(Quantized LoRA)는 기존 LoRA 기법을 저비트 양자화(4-bit quantization) 와 결합한 방식입니다.모델 weight는 4-bit quantized 형태로 GPU 메모리에 올림LoRA 저랭크 파라미터(A, B)만 FP16 혹은 BF16 precision으로 학습즉, 원본 모델은 4-bit로 압축 + LoRA delta만 학습 → 메모리 사용량과 연산량이 크게 줄어듦.왜 필요한가?LLaMA, Falcon, Mistral 등 7B~70B급 모델은 full precision로 로드 시 VRAM이 40GB~300GB 이상..