Data Vision

RAG 시스템 최적화: 성능을 결정짓는 핵심 요소 완벽 가이드📌 들어가며안녕하세요, AI 개발자 여러분! 오늘은 취업 포트폴리오에 강력한 임팩트를 줄 수 있는 RAG(Retrieval-Augmented Generation) 시스템 구현의 핵심 요소들을 깊이 있게 살펴보려 합니다. 단순히 LLM API를 호출하는 것보다 한 단계 더 나아가, 여러분만의 데이터로 정확하고 신뢰할 수 있는 AI 애플리케이션을 구축하는 방법을 공유합니다.이 글은 특히:취업을 준비 중인 개발자RAG 기반 프로젝트를 시작하려는 분들차별화된 사이드 프로젝트를 찾고 있는 개발자분들에게 실질적인 도움이 될 것입니다. 영상 링크 : https://youtu.be/j6i94AC6Prs  🔍 RAG란 무엇이며 왜 중요한가?RAG는 Larg..

Facebook MMS 모델로 한국어 TTS 웹 서비스 개발하기안녕하세요! 이번 글에서는 Facebook의 Massively Multilingual Speech (MMS) 프로젝트의 한국어 TTS 모델을 활용하여 텍스트를 자연스러운 한국어 음성으로 변환해주는 웹 서비스를 개발하는 방법을 알려드리겠습니다. 최신 LLM 기술과 허깅페이스의 모델을 활용하여 누구나 쉽게 따라할 수 있도록 설명해 드리겠습니다. 허깅페이스와 같은 AI 플랫폼에서 제공하는 최신 모델을 활용하면, 복잡한 딥러닝 모델을 직접 구현하지 않고도 고품질의 AI 서비스를 쉽게 개발할 수 있습니다. 서비스 시연 영상 확인하기~ : https://youtu.be/WL7Y5N-3qKs프로젝트 개요이 프로젝트는 텍스트를 입력하면 자연스러운 한국어 음..

TheoremExplainAgent: AI 기반 다중 모달 정리 설명 시스템개요TheoremExplainAgent는 AI를 활용하여 수학, 물리, 화학, 컴퓨터 과학 등의 다양한 STEM 분야에서 정리를 설명하는 장문의 애니메이션 동영상을 자동 생성하는 시스템입니다. 기존의 대형 언어 모델(LLM)은 텍스트 기반의 정리 이해 및 설명에 강점을 보였으나, 시각적으로 직관적인 설명을 제공하는 데 한계가 있었습니다. 본 연구에서는 AI가 정리 설명을 보다 효과적으로 수행할 수 있도록 다중 모달(텍스트+시각적 요소) 접근 방식을 적용하였습니다. 1. 연구 배경 및 필요성기존 LLM은 텍스트 기반 정리 설명에는 강하지만, 시각적인 직관성을 확보하기 어려움.수학, 물리학 등의 학문에서는 도형, 그래프, 시뮬레이션 ..

GHOST 2.0: 한 번의 시도로 정밀한 머리 교체 (Generative High-fidelity One Shot Transfer of Heads)  개요최근 얼굴 교체(face swap)에 대한 연구가 활발하게 진행되고 있지만, 머리 전체를 교체하는(head swap) 연구는 아직 미흡합니다. 얼굴 교체는 피부색 변환만 필요하지만, 머리 교체는 머리 전체의 형태를 유지하고 배경과 자연스럽게 합성하는 것이 중요합니다.GHOST 2.0은 이러한 문제를 해결하기 위해 개발된 모델로, 두 가지 핵심 모듈을 포함합니다:Aligner: 원본(head source)의 머리를 목표(target)의 움직임에 맞춰 재현Blender: 생성된 머리를 대상 이미지와 자연스럽게 합성하여 피부색을 맞추고 불일치 영역을 채움연..

Kanana: 효율적인 한국어 및 영어 이중 언어 모델개요Kanana는 한국어와 영어에서 뛰어난 성능을 발휘하는 이중 언어 모델 시리즈입니다. 이 모델은 유사한 크기의 최첨단 모델들과 비교해도 경쟁력이 있으며, 특히 연산 비용이 크게 절감되었습니다. 보고서에서는 Kanana 모델의 사전 훈련 및 후처리 과정에서 사용된 기술들을 설명하며, 특정 시나리오(예: 임베딩, 검색 강화 생성, 함수 호출)에 맞게 적응하는 방법도 제시합니다.1. 도입 배경최근 대형 언어 모델(LLM)의 발전은 방대한 학습 데이터와 모델의 크기를 증가시키는 방향으로 진행되었습니다. 하지만, 이러한 접근 방식은 높은 연산 비용을 유발하며, 이는 연구 및 산업에서 독자적인 LLM을 개발하는 데 장애 요인이 됩니다. Kanana는 이러한 ..

딥러닝 하드웨어: GPU와 TPU딥러닝 기술의 발전과 함께 방대한 양의 데이터를 빠르게 처리할 수 있는 하드웨어의 중요성이 커지고 있습니다. 특히 GPU(Graphics Processing Unit)와 TPU(Tensor Processing Unit)는 딥러닝 연산에 최적화된 대표적인 하드웨어로, 각각의 특성과 장단점을 이해하는 것이 중요합니다.1. GPU (Graphics Processing Unit)✅ GPU란?GPU는 원래 3D 그래픽 연산을 위한 프로세서로 개발되었지만, 병렬 처리에 강한 특성 덕분에 딥러닝 연산에 널리 활용되고 있습니다.⚡ GPU의 특징병렬 처리 능력: 수천 개의 코어를 통해 대량의 연산을 동시에 수행할 수 있습니다.유연성: 다양한 딥러닝 프레임워크(TensorFlow, PyTo..

Hugging Face의 Transformers는 NLP(자연어 처리)와 더불어 컴퓨터 비전과 음성 데이터에 대해서도 작동하는 혁신적인 딥러닝 라이브러리입니다. 주요 기능 소개다양한 사전 학습된 모델 지원Transformers는 BERT, GPT-2, T5, RoBERTa, DistilBERT 등 다양한 사전 학습된 모델을 제공합니다.NLP, 이미지 처리, 음성 작업을 위한 최신 딥러닝 모델 활용 가능.편리한 인터페이스PyTorch와 TensorFlow 모두를 지원하며, 손쉽게 모델을 불러오고 사용할 수 있습니다.단 몇 줄의 코드로 모델을 호출하고 실행 가능.사용 가능한 주요 작업텍스트 분류, 질의응답, 텍스트 생성, 번역, 요약 등 다양한 NLP 작업 수행 가능.비전 모델을 활용한 이미지 분류와 세그멘..

텐서플로우(Tensorflow)로 ANN (DNN) 을 만들고, 최적의 모델을 찾기 위해서 GridSearchCV 를 이용한다. 먼저 모델을 만드는 함수를 작성한다. 함수의 파라미터로, 옵티마이저(optimizer)를 받는다. def build_classifier(optimizer): classifier = Sequential() classifier.add(Dense(units = 6, activation = 'relu', input_dim = 11)) classifier.add(Dense(units = 6, activation = 'relu')) classifier.add(Dense(units = 1, activation = 'sigmoid')) classifier.compile(optimizer = ..

딥러닝 학습을 하면서, 각 에포크 마다의 밸리데이션 값을 확인해야 오버핏팅 ( Overfitting )이 있는지 눈으로 확인할 수 있다. 에포크(epoch)마다의 학습(training)과 밸리데이션(validation) 히스토리(history)를 저장하여, 학습 커브를 그려본다. 분류의 문제에서 loss 와 accuracy 를 확인하는데, train loss / validataion loss 와 train accuracy / validation accuracy 를 확인한다. 이를 함수로 작성해 놓고 사용하면 된다. def learning_curve(history, epoch): plt.figure(figsize=(10,5)) # 정확도 차트 epoch_range = np.arange(1, epoch + ..

Tensoflow를 사용하다보면, 모델을 생성하고, 학습을 하게 된 후, 나중에 이를 다른 기기나 서버 등으로 옮겨서 배포하게 된다. 이때 모델 과 학습이 끝난 weight(가중치)를 파일로 저장하고 불러올 수 있는 방법이다. 0. 전체 모델과 웨이트를 h5파일로 통째로 저장하고 불러오기 1. 전체 모델과 웨이트를 폴더구조로 통째로 편하게 처리 : ( 이때는 컴파일을 할 필요 없이 바로 사용 가능! ) 2. 네트워크의 구조(모델) 만 저장하고 불러오기 3. 네트워크의 가중치를 저장하고 불러오기 : 이때는 컴파일을 꼭 해줘야 사용이 가능함! 4. 스케일러 등을 저장하고 불러오기 : joblib 라이브러리를 이용한다!