항해커톤 2024 후기
팀 스파르타에서 진행한 항해커톤 2024에서 10:1의 경쟁률을 뚫고 최종 50인에 선발되어, 3명의 개발자와 함께 '헬렌켈러'라는 팀명으로 참가하게 되었습니다. 우리의 목표는 저시력 시각장애인이 원하는 물건을 찾고, 주변 환경을 인식할 수 있도록 돕는 AI 서비스를 만드는 것이었습니다. 팀원들과 함께 무박 2일간 열심히 달려 완성한 프로젝트에 대해 이야기해보려 합니다.
[우리의 도전과 목표]
우리 팀은 시각장애인의 실제 불편함을 해결하기 위한 AI 솔루션을 찾는 데 주력했습니다. 특히 저시력 시각장애인을 위해, 그들이 원하는 물건을 찾고 주변 환경을 인식하는 데 도움을 줄 수 있는 AI 서비스를 개발하는 것이 목표였습니다.
저는 저희 팀에서 FastAPI를 사용해 AI와 백엔드 서버 담당하였습니다.
이미지를 업로드하고 음성을 입력받아 텍스트로 전환하고 , RoBERTa 모델로 텍스트 임베딩을 수행했습니다. 그리고 ‘찾아줘’, ‘안내해줘’, ‘설명해줘’ 세 가지 키워드에 대해 코사인 유사도를 계산하여 각 키워드의 점수를 추출했습니다.
이 점수를 기반으로 분기 처리를 하여 YOLO-World와 GPT-4o 모델로 전송했습니다. YOLO-World는 한글 인식이 불가능해서 googletrans를 이용해 영어로 번역한 후 텍스트를 정제했습니다.
[프로젝트 결과]
예를 들어, "물병을 찾아줘"라고 말하면 YOLO-World 모델이 물병을 찾아 위치를 음성으로 안내했습니다.
"주변 상황을 설명해줘"라고 말하면 GPT-4o API를 통해 설명을 음성으로 전달했습니다.
저희 팀은 4~6위 내에 포함되어 특별상을 받았습니다.
12시간 남짓한 시간 동안 빠르게 AI 서비스를 구축해본 소중한 경험이었고,
다양한 오픈AI 모델을 활용해 음성, 자연어, 이미지를 조합해보는 값진 시간이었습니다.
간략하게 정리하자면,
1. '찾아줘' 키워드일 때는 물체의 좌표를 프론트엔드로 전송하고, 위치를 음성으로 안내
2. '안내해줘' 키워드일 때는 주변 장애물을 인식해 경고 알림
3. '설명해줘' 키워드일 때는 GPT-4o API에 한국어 텍스트를 전송하여 결과를 음성으로 전달
[개인적인 후기]
항해커톤은 금요일 오후 8시 부터 시작됐습니다. 저는 퇴근 후에 바로 출발했는데 저녁을 먹지 못했지만 항해커톤 측에서 제공한 맥도날드 햄버거 세트를 마침 제공해줘서 배를 채울 수 있었습니다. 밤이 깊어지면서 새벽에는 BBQ 치킨을 제공해줘서 먹으며 팀원들과 힘을 내서 개발 할 수 있었습니다. 그리고 새벽 3시쯤에는 경품 추첨이 있었는데, 기대하지도 않는 추첨에 당첨되서 로지텍 마우스를 받았습니다..!
결과적으로, 저희 팀은 3등안에 들지 못하여 수상은 못했지만 특별상을 받게 되어 정말 기뻤습니다. 이번 해커톤을 통해 OpenAI 소스에 대해 더 많은 것을 배웠고, 팀원들과 협업하며 빠르게 AI 서비스를 구축하는 경험을 할 수 있어서 값진 시간이었습니다.
밤을 새워 개발을 진행하는 건 정말 힘들었지만, 발표에서 시연을 할 때 저희가 제작한 서비스가 다행히 잘 작동하여 깔끔한 마무리를 할 수 있었습니다. 그리고 마지막으로 같이 고생한 팀원들에게 감사 인사를 보내고 싶습니다.
댓글