본문 바로가기
반응형
반응형

데이터분석6

반응형
CLIP(Contrastive Language-Image Pre-Training) 논문 리뷰 introduce 이번에 소개할 CLIP 모델은 OpenAI가 개발한 인공지능 기술로, "Contrastive Language–Image Pre-training"의 약자입니다. 이 모델은 대량의 이미지와 텍스트 데이터를 함께 학습함으로써, 이미지를 설명하는 텍스트를 이해하고, 반대로 텍스트로부터 이미지 내용을 예측할 수 있는 있으며, 강력한 zero-shot 능력을 가지고 있습니다. Abstract 기존의 최신 기술(SOTA) 컴퓨터 비전 태스크들은 지정된 클래스 카테고리에서만 훈련이 가능했습니다. 이러한 방식은 각각의 비전 태스크마다 새로운 레이블 데이터를 추가해야 했기 때문에, 일반화와 유용성에 제한을 받았습니다. 이미지에 대한 텍스트를 직접 학습하는 것은 더 많은 훈련 자원 을 활용할 수 있게 하므.. 2024. 4. 11.
python 카카오톡 텍스트파일을 DataFrame으로 file_path에 카카오톡에서 추출한 txt문서 경로를 넣으면 날짜, 요일, 이름, 채팅내용의 데이터프레임이 추출됩니다. def katalk_msg_parse(file_path): my_katalk_data = list() katalk_msg_pattern = "[가-힣a-zA-Z0-9]* [가-힣]{2} [0-9]* [가-힣a-zA-Z0-9]*" date_info = " [0-9]{4}년 [0-9]{1,2}[월] [0-9]{1,2}[일] [가-힣]{3}" for idx, line in enumerate(open(file_path)): line = re.sub('[-=+,#/\?:^$.@*\"※~&%ㆍ!』\\‘|\(\)\[\]\`\'…》]','', line) line_list = line.split().. 2022. 3. 19.
[자격증] ADsP 합격 후기 2020년 27회 데이터분석 준전문가(ADsP) 시험을 간당간당하게 합격했다. 시험 준비를 한달간 준비했는데 일주일에 두번 1시간씩 공부했던 것 같다.. 출제된 문제들 난이도도 너무한게 문제집 답이랑 아에 똑같이 나와서 당황했다. 그냥 질문본 다음 답만 외워가도 합격할 정도 책 - 2020 ADsP 데이터분석준전문가 / 데이터에듀 / 28,000원 응시료 - 50,000원 합격기준 - 총점 60점 이상 / 과목별 40% 미만이면 과락 3과목이 외워야 할게 많아서 중점적으로 보는 것이 좋다! 2022. 3. 19.
강남대학교(KNU) 에브리타임 데이터 분석 2020년에 강남대 데이터사이언스 전공에서 졸업작품으로 진행했던 프로젝트 '강남대 에브리타임 데이터 분석' 프로젝트를 정리할겸 블로그에도 써보기로 했다.. 지금도 잘하지는 않지만 프로젝트 코드를 다시보니 답이없긴 하다 ㅋㅋ 변명을 하자면 그 당시에 나는 다른 전공에서 편입을 한거라 초보중에 초보였다.. 그래도 에브리타임 분석을 진행하시려는 분들에게 참고가 됐으면 하는 바램이다. 나는 강남대 에브리타임에서 '자유게시판' 그리고 '새내기게시판'을 크롤링해서 간단한 데이터분석을 진행하였고, 게시글을 각각 주제에 맞춰서 labeling을 한 후에 multi classification으로 주제를 예측하는 것이였다. * 참고로 크롤링 오래하면 에브리타임 측에서 차단을 먹인다. 코드는 여기있으니 참고하시길 https.. 2022. 3. 18.
반응형