티스토리

나의 공부기록

검색하기

블로그 홈

나의 공부기록

machineindeep.tistory.com/m

Computer Vision 분야에 관심이 있습니다.

구독자: 5

방명록 방문하기

반응형

주요 글 목록

PBNS(Physically Based Neural Simulation for Unsupervised Outfit Pose Space Deformation) 논문 리뷰 introduce 이번에 소개할 PBNS은 제가 회사에서 의류 3D 관련 프로젝트를 하면서 읽게된 논문 입니다. SMPL의 다양한 자세에서 의류가 신체에 맞춰질 수 있도록 학습하는 모델입니다. 기본적으로 3D mesh에 대한 이해도가 있어야 읽을 수 있기 때문에 미리 공부하시고 읽으시면 좋습니다. Abstract 본 논문은 딥러닝을 활용하여 PSD(Pose Space Deformation)를 통한 의류 시뮬레이션의 새로운 방법론을 제시합니다. 고전적인 PBS(Physically Based Simulations) 방식은 우수한 결과를 제공하지만 장면 수정 시에 계산 비용이 많이 드는 단점이 있습니다. 이에 반해, 본 논문에서 제안하는 LBS(Linear Blend Skinning)을 사용한 PSD 방식은 .. 공감수 0 댓글수 0 2024. 4. 11.
CLIP(Contrastive Language-Image Pre-Training) 논문 리뷰 introduce 이번에 소개할 CLIP 모델은 OpenAI가 개발한 인공지능 기술로, "Contrastive Language–Image Pre-training"의 약자입니다. 이 모델은 대량의 이미지와 텍스트 데이터를 함께 학습함으로써, 이미지를 설명하는 텍스트를 이해하고, 반대로 텍스트로부터 이미지 내용을 예측할 수 있는 있으며, 강력한 zero-shot 능력을 가지고 있습니다. Abstract 기존의 최신 기술(SOTA) 컴퓨터 비전 태스크들은 지정된 클래스 카테고리에서만 훈련이 가능했습니다. 이러한 방식은 각각의 비전 태스크마다 새로운 레이블 데이터를 추가해야 했기 때문에, 일반화와 유용성에 제한을 받았습니다. 이미지에 대한 텍스트를 직접 학습하는 것은 더 많은 훈련 자원 을 활용할 수 있게 하므.. 공감수 2 댓글수 0 2024. 4. 11.
[Activation Function] Sigmoid 이란? 시그모이드(sigmoid)가 주로 사용되는곳은 마지막 출력 layer에서 class 0과 1을 예측할 때 이다. 예전에는 은닉 layer에서 자주 사용되었지만 gradient vanishing 이슈로 인해 최근에는 거의 사용되지 않는다. 1. Odds 오즈는 간단하게 말하면 확률을 계산하는 식이다. 특징으로는 0에서 ∞(무한대) 까지 발산한다. 우리에게 동전이 하나 있다. 해당 동전을 던져서 앞면이 0.3 뒷면이 0.7이라고 하면 앞면과 뒷면의 Odds는 앞면에 비해 뒷면이 몇배는 클것이다. 우리가 예측을 할 때에는 확률의 차이가 대칭적이여야 class마다 공평한 확률을 만들 수 있다. 2. Logit 해당 이슈를 해결하기 위해서 간단한 아이디어가 하나 있는데 바로 Odds에 log를 씌워주는 것이다. .. 공감수 1 댓글수 2 2022. 3. 28.
[keras] ValueError: Unknown optimizer: AdaBeliefOptimizer. Please ensure this object is passed to the `custom_objects` argument 에러해결 개발환경 - google colab 1. Problem tensorflow keras를 사용하면서 optimizer를 custom에서 사용하고 학습한 모델을 'h5' 형태로 저장한 후 다시 load할 때 해당 에러가 발생했다. 2. Reason tensorflow keras는 'h5' 형태로 모델을 저장할때 기존 라이브러리에 있는 optimizer나 activation function만 저장되기 때문 그렇기 때문에 custom해서 사용한 optimizer는 저장되지 않음 3. Solution 모델을 load 할 때 custom_objects key값에 optimizer name 그리고 value에 custom optimizer를 넣음 model = tf.keras.models.load_model('./C.. 공감수 2 댓글수 0 2022. 3. 19.
[clustering] tslearn의 TimeSeriesKmeans 사용방법 클러스터링은 Unsupervised Learning으로 데이터들의 군집을 예측하는 것이 목적이다. 일반적으로 kmeans는 각 데이터 사이의 distance를 구해서 군집마다 center에 가장 가까운 데이터 끼리의 패턴을 찾는다. 하지만 시계열로 되어있는 데이터를 클러스터링 해버리면 시간에 따른 정보가 사라지기 때문에 다른 방법이 필요하다. 그래서 이번에 소개할 TimeSeriesKmeans는 시간에 따른 군집화가 가능하기 때문에 위의 문제를 해결할 수 있는 알고리즘이며, tslearn 라이브러리로 쉽게 사용이 가능하다. 1. 설치 해당 명령어로 tslearn을 설치할 수 있다. !pip install tslearn 2. 데이터 생성 32row 1column의 array를 50개 생성한다. import.. 공감수 0 댓글수 1 2022. 3. 19.
강남대학교(KNU) 에브리타임 데이터 분석 2020년에 강남대 데이터사이언스 전공에서 졸업작품으로 진행했던 프로젝트 '강남대 에브리타임 데이터 분석' 프로젝트를 정리할겸 블로그에도 써보기로 했다.. 지금도 잘하지는 않지만 프로젝트 코드를 다시보니 답이없긴 하다 ㅋㅋ 변명을 하자면 그 당시에 나는 다른 전공에서 편입을 한거라 초보중에 초보였다.. 그래도 에브리타임 분석을 진행하시려는 분들에게 참고가 됐으면 하는 바램이다. 나는 강남대 에브리타임에서 '자유게시판' 그리고 '새내기게시판'을 크롤링해서 간단한 데이터분석을 진행하였고, 게시글을 각각 주제에 맞춰서 labeling을 한 후에 multi classification으로 주제를 예측하는 것이였다. * 참고로 크롤링 오래하면 에브리타임 측에서 차단을 먹인다. 코드는 여기있으니 참고하시길 https.. 공감수 1 댓글수 4 2022. 3. 18.
BlazePose: On-device Real-time Body Pose tracking 리뷰 pose estimation 프로젝트를 진행하다 mediapipe라는 프레임워크를 알게되었다. 나같은 경우에는 여러 사람을 multi tracking 하는게 아닌 한 사람만 감지하는 single tracking 이 필요했고 mediapipe blazepose는 나의 프로젝트에 딱 맞는 모델이였다. 또한 대중적인 모델인 posenet보다 더욱 뛰어난 성능을 보여 인상적인 모델이여서 논문을 찾아보게 되었다.. Abstract 구글에서 인간 포즈 추정의 lightweight convolutional neural network architecture blazepose를 제시하였다. 모바일 디바이스에 대한 실시간 inference를 위해 제작된 모델이며 한 사람에 대한 33개의 keypoint를 추정한다. 해당 .. 공감수 0 댓글수 0 2022. 3. 18.
Pycaret AutoML으로 ensemble 하는법 Kaggle이나 Dacon 같은 AI대회에 참여하다 보면 Ensemble 기법을 사용하여 점수를 끌어올려야 하는 상황이 발생한다. 이번에 소개할 라이브러리는 Pycaret AutoML 이다. 해당 라이브러리는 거의 모든 머신러닝 알고리즘을 사용하여 간편하게 Ensemble을 할 수 있다. Pycaret을 사용하기 위해 아래 라이브러리를 설치한다. !pip install pycaret[full] 그 다음 pycaret을 import 해준다. 만약 회귀로 진행할 경우 pycaret.regression으로 변경한다. from pycaret.classification import * 이제 데이터셋을 세팅해야 하는데 DataFrame 타입으로 input값을 주어야 한다. 나는 간단하게 주요 파라미터만 입력하였다... 공감수 1 댓글수 0 2022. 3. 17.
PoseNet keypoint로 skeleton 그리기 Pose Estimation model로 신체의 좌표를 추출하였을 때 제대로 추출되어있는지 확인하는 과정이 필요하다. 해당 코드는 PoseNet의 좌표를 matplotlib을 이용해 스켈레톤으로 그리는 코드이다. skeleton_plot 함수에 하나의 Frame에 대한 좌표값 -> sample 그리고 'ro' or 'bo' 같이 원하는 컬러를 입력하면 된다. -> color 다른 모델을 사용할때에는 각 관절에 맞게 코드 변환이 필요하다. def plot_line(a, b): # 관절마다 선긋기 if (a.any()> 0 and b.any()>0): plt.plot([a[0], b[0]], [a[1], b[1]], 'k-') def draw_skeleton(sample, pattern): keypoint .. 공감수 1 댓글수 1 2022. 3. 17.
PoseNet keypoint로 신체 각도 구하기 해당 코드를 사용하기 위해서는 Pose Estimation model을 통하여 포즈의 좌표를 추출한 다음 원하는 신체 부위의 값을 입력해야 한다. posenet으로 예를 들어 왼쪽어깨의 각도를 추출하고 싶으면 p1 - left shoulder, p2 - left elbow, p3 - left hip 이처럼 변수에 좌표 xy값을 입력한다. angle_vec의 True, False 여부로 시계방향, 반시계방향으로 각도를 얻을 수 있다. def get_angle(p1 : list, p2 : list ,p3 : list, angle_vec : bool) -> float: """ 세점 사이의 끼인 각도 구하기 """ rad = np.arctan2(p3[1] - p1[1], p3[0] - p1[0]) - np.ar.. 공감수 0 댓글수 4 2022. 3. 17.
ml5 PoseNet KNN Classification 사용방법 PoseNet은 실시간 인간 포즈 추정을 허용하는 기계 학습 모델이다. 단일 포즈 또는 다중 포즈를 추정하는 데 사용할 수 있다. 즉, 이미지/비디오에서 한 사람만 감지할 수 있는 알고리즘 버전과 이미지/비디오에서 여러 사람을 감지할 수 있는 하나의 버전이 있다. KNN은 원래 데이터셋에서 새로운 데이터가 들어왔을 때 가장 가까운 k개를 찾아 분류를 하는 모델 이다. 두개의 모델을 이용해 만들어진 프레임워크인 ml5는 사람의 포즈를 구분하고 해당 데이터를 저장해서 classification을 할 수 있다. 준비물은 자신을 찍을 수 있는 캠코더만 준비하면 된다. 해당 주소로 접속한다. https://editor.p5js.org/ml5/sketches/KNNClassification_PoseNet p5.js.. 공감수 0 댓글수 0 2022. 3. 17.
Pose Similarity - Weight Distance Python 코드 코사인 거리는 매우 훌륭하고 좋은 결과 값을 주긴 하지만 아직 큰 결함이 있다. Confidence Score는 Pose를 추정할 때 이 좌표에는 어떤 키포인트가 있을지 얼마나 확신하는지 알려주는 정도이다. 이 정보를 무시한다면 우리는 매우 중요한 정보를 버리는 것이다. def weightedDistanceMatching(poseVector1, poseVector2, score): """ poseVector1 = [120(x), 230(y) ...] poseVector2 = [324(x), 232(y) ...] score = [0.2, 0.3 ....] """ # test coordinate vector1PoseXY = poseVector1 vector1Confidences = score # test t.. 공감수 0 댓글수 0 2022. 3. 17.
MediaPipe - BlazaPose 사용방법 MediaPipe pose는 ML Kit 포즈 감지 API를 지원하는 BlazePose연구를 활용하여 RGB 비디오 프레임에서 전신에 대한 33개의 3D 랜드마크와 배경 분할 마스크를 추론하고 신뢰도가 높은 신체 포즈 추적을 위한 ML 솔루션이다. BlazePose 논문을 나름 해석해보았으니 참고 하실분은 링크를 클릭해주길 바란다! https://machineindeep.tistory.com/34 BlazePose: On-device Real-time Body Pose tracking 리뷰 pose estimation 프로젝트를 진행하다 mediapipe라는 프레임워크를 알게되었다. 나같은 경우에는 여러 사람을 multi tracking 하는게 아닌 한 사람만 감지하는 single tracking 이 필.. 공감수 0 댓글수 0 2022. 3. 17.
Deepfake faceswap 소프트웨어 설치, 사용법 Faceswap은 사진 혹은 비디오에 있는 얼굴을 인식하여, 얼굴 부분을 바꾸어주는 DeepLearning 기술 기반의 Software 입니다. 1. 사용자 환경 - Anaconda 4.9.2 - Window10 - Cuda 10.1 2. 설치 방법 faceswap 다운로드 주소 - faceswap.dev/download/ window나 linux 중 본인에 맞는 환경에 따라 설치 1) 경로설정 2) 본인 GPU에 맞는 설정 클릭(GPU 없으면 CPU로 설정) 3. 실행 1) Anaconda prompt으로 설치된 경로로 들어가서 해당 파일 확인 2) 본인 설정에 맞는 파일 라이브러리 설치 ex) pip install -r requirements_nvidia.txt Tensorflow 버전에 맞는 GPU.. 공감수 2 댓글수 0 2021. 4. 6.
Few-Shot Adversarial Learning of Realistic Neural Talking Head Models 간단해석 * 해당 코드를 참고하면서 논문을 읽으면 이해하는데 도움이 됨 github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models vincent-thevenin/Realistic-Neural-Talking-Head-Models My implementation of Few-Shot Adversarial Learning of Realistic Neural Talking Head Models (Egor Zakharov et al.). - vincent-thevenin/Realistic-Neural-Talking-Head-Models github.com 1. Introduction 2019년 5월에 모스크바의 Samsung AI Centor 에서 발표한 논문이다... 공감수 0 댓글수 0 2021. 3. 25.
CNN(Convolutional Neural Networks) 이론 설명 CNN 이란?- 이미지, 영상, 음성을 분석하기 위해 패턴을 찾는데 유용한 알고리즘으로, 데이터에서 이미지를 직접 학습하고 패턴을 사용해 이미지를 분류한다.일반적인 DNN은 기본적으로 1차원의 데이터를 사용해서 학습을 해야한다. 하지만 이미지 데이터는 640 x 640 이런 식으로 표현된다. 이 아무 처리없이 1차원으로 바꾸면 형체를 알 수 없을 정도로데이터의 손실이 일어난다. 이를 해결한게 CNN 이다. CNN은 크게 두단계로 나누는데 1. 전처리 과정 feature extraction2. 분류 과정 classification 아래 그림을 보면 더 이해가 잘 될것이다. 위의 그림은 CNN의 전체 과정을 담은 것이다. 크기가 32 x 32 ~ 5 x 5까지 줄어드는것을 볼수 있는데,이는 그림 데이터의 중.. 공감수 0 댓글수 0 2020. 10. 30.
k-최근접 이웃(KNN, K-Nearest Neighbor) 이론 설명 *제가 이해한 내용을 정리한 것입니다. 틀린것이 있다면 지적해주세요! KNN이란 ?- k개의 가까운 이웃을 보고 클래스를 판별한다. 게으른 학습기라고 불리며 훈련데이터를 함수로 판별하는 것이 아닌 데이터셋을 메모리에 저장후 판별 KNN은 유명하고 매우 간단한 알고리즘이다. 새로운 데이터가 '?' 이면 그 안에서 가장 가까운애들중 가장 많은 변수를 찾는 것이다. 이 그림을 보면 세모 1등, 동그라미 네모 공동 2등이므로 세모를 선택하는 것이다.k에 값을 줄때는 동점을 방지하기 위해 홀수값을 주는게 정석이다.만약 짝수값을 입력해 동점이 되더라도 그중 가까운애를 1등으로 한다.거리를 구하는 방식은 '맨하탄 거리', '유클리디안 거리', '민코우스키 거리'인데 민코우스키 거리가 가장 일반화가 되어 있다고 한다... 공감수 0 댓글수 0 2020. 10. 30.
랜덤포레스트(RandomForest) (feat. 앙상블, ensemble) *제가 이해한 내용을 정리한 것입니다. 틀린내용이 있으면 지적해주세요! 랜덤포레스트(RandomForest)란?- 여러개의 트리를 생성해서 트리의 결과를 투표해서 가장 많이 나온것을 선택하는 알고리즘이다. 랜덤포레스트를 알기전에 앙상블(ensemble)이라는 것을 알아야 한다.'약한 분류기를 강한 분류기로 만드는 알고리즘'앙상블은 여러개의 알고리즘을 통합해서 가장 잘 나오는 것을 뽑는 방식이다.결론적으로 랜덤포레스트는 앙상블을 쓴 알고리즘이다. 앙상블에 대표적인 4가지 방식을 알아보자 1. Voting : 여러개 다른 알고리즘을 여러개 써서 그 중 가장 많이나온 결과를 사용하는 방법이다.1) hard voting : 여러개의 결과를 투표해서 가장 많이 나온 결과2) soft voting : 각각의 확률을.. 공감수 0 댓글수 0 2020. 10. 30.
결정트리(의사결정나무, Decision Tree) *제가 이해한 내용을 정리한 것입니다. 틀린내용이 있으면 지적해주세요! 결정트리(Decision Tree)란? - 일련의 질문에 대한 결정을 통해 데이터를 분해하는 모델, 분류 모델중에서 가장 간단한 알고리즘 결정트리의 목적은 정보이득 최대화 이다. 정보 이득(Information Gain)은 가장 정보가 풍부한 특성으로 노드를 나누기 위해 확인하는 정보의 획득 정보를 판별하는 지표이다. 다시 말해 이 노드를 나누는 것이, 분류에 도움이 되는가를 판별하는 지표 의사결정트리의 '트리' 구조에 대하여 알아보자 그래프에서 보면 맨 위의 노드를 루트 노드(Root node)라고 하며, 그 아래 이어지는 선이 '가지' 이다. 'Can fly?'는 'Hawk', 'Penguin'의 부모노드이며 'Hawk', 'Pe.. 공감수 0 댓글수 0 2020. 10. 30.
서포트 벡터 머신(Support Vector Machine, SVM) *제가 이해한 내용을 적은 것이니, 틀렸을 경우 지적해주세요! 서포트 벡터 머신은 경계가 되는 초평면 사이 결정경계 양쪽 마진을 최대화 하는 것을 목적으로 하는 것이다. * 초평면 : 경계를 만드는 선 * 마진 : 결정경계를 기반으로 서포트 벡터까지의 거리 그림을 보면 점선 사이에 있는 변수들이 Support Vectors인 것을 알 수 있다. 이 변수들을 초평면을 기준으로 최대한 떨어트려놓는게 서포트 벡터 머신인데 이유를 설명하자면 이 그래프에서 세로로 가운데에 선을 그렸다고 상상해보자 그러면 파란색과 빨간색 변수들이 초평면 사이에 붙어있게 된다. 중앙에 새로운 빨간색 변수가 중간에 추가되면 그것은 빨간색 변수인지 파란색 변수인지 기계가 구분하지 못하게 된다. 그래서 초평면 사이에 마진을 최대화 하는 .. 공감수 0 댓글수 0 2020. 10. 30.
[머신러닝] 로지스틱 회귀(Logistic regression) *제가 이해한 내용을 정리한것이므로, 틀린내용이 있을 수 있으니 틀린점은 지적해주시면 감사하겠습니다. 로지스틱 회귀는 '회귀' 라고는 하지만 선형 이진 분류에서 뛰어난 성능을 내는 알고리즘이다. 보통 이진분류에만 사용하지만, 다중분류에도 사용할 수 있다.(복잡해서 쓰지 않는다고함) 퍼셉트론의 가장 큰 단점은 클래스가 선형으로 구분되지 않을 때 사용할 수 없다는 점이였다. 로지스틱 회귀는 비선형 분류모델에 적용할 수 있다. 설명하기전에 일단 오즈비(odds ratio)를 알아보자. "특정 이벤트가 발생할 확률"을 뜻한다. 동전 던지기의 확률이 1/2 일 때 앞면이 나올 확률 대비 뒷면이 나올 확률의 비율(오즈비)는 1 오즈비에 자연로그를 취한 값(p / (1 - p) 에 로그를 씌운것)을 로짓 함수라고 부.. 공감수 0 댓글수 0 2020. 10. 28.
[머신러닝] 퍼셉트론과 아달린 (feat. 경사하강법) * 제가 이해한 내용을 적어 틀린 내용이 있을 수 있으니 지적 해주세요!! 퍼셉트론(Perceptron) 이란? - 인간의 뉴런 구조를 따라한 학습모델 1이라는 편향 값을 가진 퍼셉트론 이다. 입력값(x)과 가중치(w) 서로 곱하고 더한값이 weighted sum이다 결정 함수(여기선 계단함수)는 임계값(𝜃)을 기준으로 그 이상일 때 클래스1로, 아 닐 때 클래스 -1로 예측한다. 퍼셉트론을 순서대로 설명하자면 1. 가중치를 초기화 하고 학습률을 정해준다. 2. weighted sum을 진행한다. 3. 계단함수에서 일정 임계값을 기준으로 0과 1 클래스를 예측한다 4. 만약 예측할 값이 0이였는데 1을 예측했다면 x값에 비례한 가중치를 업데이트 한다. 5. 위 내용 2번부터 반복 그리고 퍼셉트론은 두 클.. 공감수 0 댓글수 0 2020. 10. 28.
[딥러닝] 딥러닝 기초 머신러닝을 배우다 딥러닝으로 넘어온 오늘.. 내가 딥러닝을 배우다니! 다층 퍼셉트론 - 입력층(input layer) 한개, 은닉충(hidden layer) 한개이상, 출력층(output layer)으로 구성되있는걸 다층 퍼셉트론이라 부른다. 이 때 은닉충이 두개 이상이면 심층 신경망 이라 부르며 딥러닝은 이 심층 신경망을 연구하는 분야 라고 한다! 역전파 훈련 알고리즘 - 이 알고리즘은 간단히 말하면 효율적인 기법으로 그레이디언트를 자동으로 계산하는 경사하강법 이라고 한다. 네크워크를 정방향으로 한 번, 역방향으로 한 번 통과하여 모든 모델 파라미터에 대한 네크워크 오차의 그레이디언트를 계산할 수 있다. 순서대로 써보면 1) 각 훈련 샘플에 대해 역전파 알고리즘이 먼저 예측을 만들고 오차를 측정(정방향.. 공감수 0 댓글수 0 2020. 10. 13.
[Kaggle] 타이타닉 생존자 예측 도전 캐글에 제출했더니 0.79가 나왔다. 데이터 전처리가 부족한거 같다. 알고리즘은 다 써봤는데;; Name 변수를 좀 더 이용하면 좋을거 같다. 그래도 1000등안에 들어서 만족스럽긴 하다. (아직 입문단계 ㅠㅠ) In [1]: from IPython.core.display import display, HTML display(HTML("")) import pandas as pd import numpy as np import seaborn as sns sns.set_style('dark') import matplotlib.pyplot as plt from matplotlib import font_manager, rc font_path = "c:/Windows/Fonts/malgun.ttf" font_name.. 공감수 0 댓글수 0 2020. 9. 20.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.