나의 공부기록

드디어 시리즈 마지막입니다.지금까지 모델, 데이터, 성능지표, 배포와 운영까지 살펴봤다면 이제 남은 질문은 단 하나입니다."이 프로젝트로 우리 회사가 진짜 이익을 보나?"이걸 숫자로 보여줄 수 있어야 경영진도 돈을 투자합니다.오늘은 AI 프로젝트의 ROI(투자 대비 효과)를 어떻게 계산하고,협업 시 어떤 포인트를 챙겨야 하는지 이야기합니다.ROI란?ROI(Return on Investment)는 말 그대로 투자 대비 얼마를 벌었는지 나타내는 지표입니다. ROI > 0 → 투자한 값어치를 함ROI AI 프로젝트에서의 비용 요소AI 프로젝트는 생각보다 많은 비용이 들어갑니다.데이터 비용: 수집, 라벨링, 저장인프라 비용: 서버, GPU 클라우드, 스토리지개발 인력 비용: 엔지니어, PM, 디자이너, QA운영..

AI 엔지니어랑 회의하다 보면 갑자기 알 수 없는 용어들이 튀어나옵니다."이번엔 파인튜닝으로 갈까요?""프롬프트 엔지니어링으로 해결 가능할 것 같은데요.""LLMOps 자동화 붙여야 할 것 같습니다."어떤 분들은 조용히 고개 끄덕이지만 속으로는 뭐야 그게… 하고 있을 겁니다.이제는 그럴 필요 없습니다. 오늘 싹 정리해 드립니다.파인튜닝(Fine-Tuning) = 모델에게 마지막 스킬 가르치기파인튜닝은 이미 만들어진 **기성품 모델(Pretrained Model)**에우리 회사 데이터를 조금 더 학습시켜 특화된 모델로 만드는 과정입니다.비유하자면:일반 요리학원 수료생 = 기성품 모델우리 회사 전용 레시피 재교육 = 파인튜닝예시:일반 번역 모델 → 우리 회사 전문 용어(반도체, 금융, 의료) 추가 학습일반 ..

지난 편에서 모델 성능 지표를 꼼꼼히 살펴봤습니다.모델이 충분히 똑똑해졌다면 이제 고객이 쓰도록 해야겠죠?하지만 여기서부터 또 다른 전쟁이 시작됩니다.“배포(Deployment)”와 “운영(Serving)” 단계입니다.모델 배포(Deployment) = 신제품 출시모델 배포는 말 그대로 모델을 실제 환경에 올리는 과정입니다.엔지니어들이 “배포 완료했습니다”라고 말할 때는모델 파일을 서버에 올리고,API나 서비스가 이 모델을 호출할 수 있게 연결하고,테스트를 거쳐 실제 유저 트래픽이 들어오도록 오픈한 상태를 말합니다.비유하자면,새로운 메뉴를 개발한 셰프가전국 매장 주방에 레시피 공유하고직원 교육하고매장 메뉴판에 올리는 과정이 전부 끝난 상태라고 보면 됩니다.모델 서빙(Serving) = 실시간 일하기배포된..

AI 프로젝트 회의에서 흔히 듣는 말:“이번 모델은 정확도 95% 나왔습니다.”그리고 보통 그 자리에 있는 누군가는 이렇게 말하죠.“95%면 거의 완벽한 거 아니야? 배포하자!”그런데 옆에 앉아 있던 엔지니어가 표정이 시큰둥해집니다.왜 그럴까요? 오늘은 이 정확도(Accuracy)라는 숫자가모든 걸 말해주지 않는 이유와,우리가 함께 챙겨야 하는 다른 성능 지표들에 대해 이야기합니다.정확도(Accuracy) – 전체 중 몇 개 맞췄나정확도는 가장 직관적인 지표입니다.전체 중에서 맞춘 비율이죠.예시: 100개의 이메일 중에서스팸 80개, 정상 메일 20개모델이 스팸 95개로 예측했는데 그중 75개가 진짜 스팸이었다면?겉으로 보기엔 좋아 보이지만, 문제가 있습니다.정확도의 함정 – 불균형 데이터만약 스팸 메일..

지난 편에서 모델과 학습, 추론을 살펴봤죠.“오케이, 이제 모델만 잘 만들면 되겠네?” 라고 생각했다면, 아직 진짜 난관은 시작도 안 한 겁니다.AI 프로젝트에서 가장 많이 일정이 밀리고, 예산이 새어 나가고, 사람들 멘탈이 무너지는 구간이 바로 데이터 단계예요.데이터셋 = AI의 식재료 + 교재 AI 엔지니어가 말하는 데이터셋은 단순한 데이터 모음이 아닙니다.이건 AI가 공부할 교재이자, 셰프가 요리할 식재료입니다.좋은 모델을 만들려면 좋은 데이터셋이 필요하다는 말은,"미슐랭 셰프한테 썩은 재료 주고 맛있는 요리 기대하지 말라"는 말과 같습니다.현실 예시챗봇 만들기: 고객 문의 텍스트 수십만 건이 필요불량 감지: 불량 이미지와 정상 이미지가 골고루 필요음성 인식: 다양한 사람 목소리, 발음, 잡음 환경..

안녕하세요. 오늘은 AI 엔지니어랑 회의하다가 100% 나오는 용어, 모델·학습·추론 이야기를 풀어볼 거예요.AI 엔지니어들은 “모델 버전 올리고 학습 다시 돌리고, 추론 서버 띄우고…” 같은 말을 너무 아무렇지 않게 합니다.문제는 그 회의에 앉아 있는 기획자·PM·마케터·운영팀·심지어 임원님까지 얼굴에❓를 달고 있다는 거죠.오늘은 그 ❓를 🔥로 바꿔 드리겠습니다.“아~ 그 얘기였구나” 하고 고개 끄덕일 수 있도록 쉽게, 하지만 실무에 바로 써먹을 수 있게 설명해드릴게요.모델(Model) = 회사 매뉴얼 엔지니어들이 말하는 "모델"은 기계학습/딥러닝 모델을 뜻합니다.그런데 너무 어렵게 생각할 필요 없어요. 모델은 쉽게 말해 매뉴얼이에요.매뉴얼이란? "이런 상황에서는 이렇게 해라" 라고 적힌 지침서AI ..

" OPEN DATA SYNTHESIS FOR DEEP RESEARCH "논문을 요약한 내용 입니다.연구 배경 & 문제의식대규모 언어 모델(LLM)은 이제 단순한 사실 회상(fact recall)을 넘어서,하위 문제 분해 → 다단계 추론 → 다중 출처 증거 통합까지 요구되는“Deep Research” 작업으로 확장되고 있습니다.하지만 기존 벤치마크는 이런 복잡성을 제대로 포착하지 못하고,최근 합성 데이터셋들도 단축키 추론(shortcut reasoning)이나 지식 누출(knowledge leakage) 문제,혹은 깊이(depth)가 부족한 경우가 많습니다.논문은 이를 해결하기 위해 **Deep Research 문제를 HCSP(Hierarchical Constraint Satisfaction Proble..

Lost in Embeddings: Information Loss in Vision–Language Model해당 논문을 요약한 내용 입니다. 연구 배경 & 문제의식 Vision-Language Models(VLMs)는 이미지와 텍스트를 같은 임베딩 공간으로 매핑하여 질문 답변, 이미지 캡셔닝, 검색 등 다양한 작업을 수행합니다.하지만 connector(이미지 임베딩 → 언어 모델 입력으로 변환하는 모듈)에서 시각 정보가 손실되면 모델 성능이 떨어질 수 있습니다.이 논문은 connector가 시각적 기하·의미 정보를 얼마나 보존하는지를 정량화하고,이 손실이 실제 다운스트림 작업 성능에 어떤 영향을 미치는지 평가하기 위한 두 가지 보완적 접근을 제안합니다.방법론 (Methodology)k-NN Overl..

IntrEx: A Dataset for Modeling Engagement in Educational Conversations위 논문을 요약한 내용 입니다. 연구 배경 & 문제의식 제2외국어 학습(second-language acquisition) 환경에서 *학습자 참여(engagement)*는 학습 효과와 직결되는 핵심 지표입니다.하지만 지금까지의 연구는 텍스트의 흥미도(interestingness) 자체에만 초점을 맞추었고,대화(conversation) 속에서 어떤 언어적 특징이 참여를 유도하는지에 대해서는 거의 알려지지 않았습니다.이번 논문은 이를 해결하기 위해교사-학생 대화의 흐름 속에서 참여도를 정량화한 IntrEx 데이터셋을 제안합니다.IntrEx는 interestingness와 expecte..

Why Language Models Hallucinate논문을 요악한 내용 입니다.연구 배경 & 문제의식LLM이 생성하는 **환각(hallucination)**은 실제 응용에서 가장 큰 문제 중 하나입니다.환각이란 모르면서 아는 척하고, 그럴듯하지만 사실과 다른 응답을 내놓는 현상입니다.이 논문은 환각을 “모델의 실수”로만 보지 않고,훈련·평가 절차 자체가 ‘추측’을 보상하도록 설계된 구조적 문제라고 분석합니다.즉, LLM은 “모른다”라고 말하는 것보다 “틀려도 찍는다”가 더 높은 점수를 받기 때문에학습과정에서 점점 자신감 있는 추측을 하도록 진화한다는 것이 핵심 주장입니다.환각의 통계적 원인 (Pretraining 단계)저자들은 환각을 이진 분류 문제로 환원해 설명합니다.훈련 데이터는 (+) 유효 출력..