Data Vision

추천시스템 개발하기 : 행렬분해 - 모델 기반 협업필터링 기법

Matrix Factorization - Model-based Collaborative Filtering모델 기반 (Model-based) CF사용자-아이템 상호작용 데이터 속에 숨어있는 잠재적인 패턴(Latent Pattern)을 학습하는 모델을 구축하는 방식입니다. 유튜브 링크 : https://youtu.be/B5k0Iv-0mLY행렬 분해 (Matrix Factorization, MF):가장 대표적이고 성공적인 모델 기반 CF 기법 (Two-Tower 이전 시대의 왕!)핵심 아이디어: 거대한 사용자-아이템 평점 행렬 (매우 희소함)을 두 개의 작은 저차원 '잠재 요인(Latent Factor)' 행렬 (사용자-잠재요인 행렬, 아이템-잠재요인 행렬)의 곱으로 근사(분해)할 수 있다고 가정합니다.동작 ..

추천 시스템 : 협업 필터링 (CF) Collaborative Filtering핵심 질문: "이 유저(User)에게 어떤 아이템(Item)을 추천해줘야 할까?"1. 필터링 (Filtering)이란?세상에는 너무나 많은 정보와 아이템이 있습니다. 추천 시스템의 역할은 이 방대한 정보 중에서 특정 사용자에게 가장 관련성이 높고 유용할 것 같은 정보(아이템)만을 '걸러내어(Filtering)' 보여주는 것입니다.2. 추천 시스템의 두 가지 주요 접근 방식:협업 필터링 (Collaborative Filtering, CF): "다른 사람들은 뭘 좋아했지?" 🤔콘텐츠 기반 필터링 (Content-based Filtering, CBF): "네가 전에 좋아했던 거랑 비슷한 거네!" 😎I. 협업 필터링 (Collab..

클라우드플레어 원격 MCP 서버 가이드클라우드플레어(Cloudflare)는 최근 원격 Model Context Protocol(MCP) 서버를 구축하고 배포할 수 있는 기능을 제공하여, AI 에이전트 개발자들에게 새로운 가능성을 열어주고 있습니다. 이제 로컬 환경에 MCP 서버를 설치하지 않고도, 클라우드 기반에서 다양한 AI 도구와 서비스를 연결할 수 있게 되었습니다.🌐 원격 MCP 서버란?MCP는 AI 모델이 외부 도구 및 데이터 소스와 상호작용할 수 있도록 설계된 프로토콜입니다. 기존에는 로컬 환경에서 MCP 서버를 실행해야 했지만, 클라우드플레어의 지원으로 이제는 인터넷을 통해 접근 가능한 원격 MCP 서버를 구축할 수 있습니다. 이를 통해 웹 기반 인터페이스나 모바일 앱에서도 MCP를 활용할 ..

Open RAG Eval: 오픈 소스 RAG 성능 평가 프레임워크Vectara와 워털루대학교가 공동 개발한 오픈 소스 RAG 성능 평가 프레임워크인 Open RAG Eval은 RAG 시스템의 품질을 정량적으로 측정하고 개선하는 데 매우 유용한 도구입니다. 특히 기업 환경에서 RAG 기반 AI 시스템을 운영하거나 도입하려는 개발자와 연구자에게 실질적인 도움을 줄 수 있습니다. 🔍 Open RAG Eval이 필요한 이유RAG(Retrieval-Augmented Generation)는 외부 지식을 검색하여 LLM의 응답 정확도를 높이는 기술로, 환각(hallucination)을 줄이고 최신 정보를 반영하는 데 효과적입니다. 그러나 RAG 시스템의 성능을 평가하는 것은 복잡하며, 기존에는 주관적인 판단이나 수..

🤖 AI Agent Framework : AutoGPT vs CrewAI 비교 분석1. AutoGPT간단한 설명"혼자서 알아서 다 하는 AI 비서" 같은 존재입니다.주요 특징사용자가 큰 목표만 주면 AI가 스스로 세부 계획을 세우고 실행함예를 들어 "내 웹사이트 SEO를 개선해줘"라고 하면:사이트 분석문제점 파악개선점 도출수정 작업 실행이런 식으로 혼자서 모든 과정을 수행2. CrewAI간단한 설명"협업하는 AI 팀" 같은 존재입니다.주요 특징여러 AI가 각자 역할을 맡아 팀처럼 일함예를 들어 "새로운 웹사이트를 만들어줘"라고 하면:PM 역할 AI: 요구사항 분석, 기획개발자 역할 AI: 코드 작성리뷰어 역할 AI: 품질 검사이런 식으로 역할을 나눠서 협업🤔 차이점 비교1. 작업 방식AutoGPT: ..

🧠 LangChain과 LangGraph를 활용한 AI 에이전트 구현 가이드🧩 시나리오"고객 데이터에서 VIP 고객을 선별하고, 각 고객에게 맞춤 이메일을 생성한 뒤, 이를 검토하고 발송 대기 리스트에 올려라."✅ 전체 구성 흐름[1] Goal 설정 ↓[2] LLM Reasoning → 어떤 고객이 VIP인지 판단 ↓[3] Tool 사용 → Google Sheets에서 고객 데이터 가져오기 ↓[4] Tool 사용 → OpenAI로 이메일 작성 ↓[5] Tool 사용 → 이메일 품질 검토 (Self-critique) ↓[6] 저장 또는 전송 준비🛠️ 사용 기술LangChain (에이전트 프레임워크)OpenAI GPT-4 APIGoogle Sheets API (또는 임시 CSV)@tool 데코레이터를 ..

🤖 "AI 에이전트"가 뭐길래? – ChatGPT보다 똑똑한 AI의 등장요즘 어디서든 들려오는 말,"에이전트 기반 AI가 대세야","AI가 이제 스스로 생각하고 행동한대!"하지만 도대체 AI 에이전트가 뭐길래 이렇게 화제일까요?이 글에서 딱 3단계로 쉽게 설명해드릴게요. 유튜브 영상으로 보기 : https://youtu.be/7rP1rfTdRHY 🪜 1단계 – LLM: 텍스트만 잘 쓰는 AI 조수우리가 자주 사용하는 ChatGPT, Claude, Gemini 같은 AI는모두 LLM(Large Language Model)이라는 기술 위에 만들어진 챗봇이에요.말 그대로 말을 잘하는 AI죠.📌 예시:"고객에게 보낼 감사 이메일 써줘"ChatGPT는 정중하고 친절한 이메일을 뚝딱 써줍니다.하지만 그 다음에..

추천 시스템 완벽 가이드: 협업 필터링 (CF) vs 콘텐츠 기반 필터링 (CBF)핵심 질문: "이 유저(User)에게 어떤 아이템(Item)을 추천해줘야 할까?"1. 필터링 (Filtering)이란?세상에는 너무나 많은 정보와 아이템이 있습니다. 추천 시스템의 역할은 이 방대한 정보 중에서 특정 사용자에게 가장 관련성이 높고 유용할 것 같은 정보(아이템)만을 '걸러내어(Filtering)' 보여주는 것입니다.2. 추천 시스템의 두 가지 주요 접근 방식:협업 필터링 (Collaborative Filtering, CF): "다른 사람들은 뭘 좋아했지?" 🤔콘텐츠 기반 필터링 (Content-based Filtering, CBF): "네가 전에 좋아했던 거랑 비슷한 거네!" 😎I. 협업 필터링 (Coll..

🚀 오픈소스 LLM  – 기업은 어떻게 사용해야 하지?이 글은 “오픈소스 LLM을 실무에서 어떻게 다뤄야 할까?”에 대해 고민하는 분들을 위해 준비했습니다. 왜, 언제, 그리고 어떻게 오픈소스 LLM을 선택해야 할지를 직관적으로 설명해드릴게요.🌍 지금은 오픈소스 LLM의 시대몇 년 전만 해도 “오픈소스 모델이 GPT-4처럼 될 수 있을까?”라는 질문은 다소 낙관적이거나 허무맹랑하게 들렸습니다. 그런데 2024년, 상황이 완전히 바뀌었습니다.Meta의 LLaMA 3.1 (405B): 사상 처음으로 폐쇄형 모델과 성능이 동등한 오픈소스 모델Alibaba의 Qwen 2.5 (72B): 무려 5배나 작은 크기로 LLaMA 3.1과 거의 같은 성능멀티모달 시대 개막: LLaMA 3.2는 텍스트뿐 아니라 이미지..

💡 실전 LLM 셀프 호스팅 배포 가이드북조직 또는 개인이 대규모 언어 모델(LLM)을 자체적으로 배포(Self-hosting)하고 운영할 때 필요한 핵심 지침을 정리한 실무 가이드입니다.유튜브 설명 링크 : https://youtu.be/YiCqDJFExEE 📌 1. 왜 Self-Hosting을 고려해야 하는가?조건Self-hosting 고려 대상 여부대규모 트래픽을 처리하고 싶다✅ YesAPI 비용이 부담된다✅ Yes보안/컴플라이언스 이슈가 있다✅ Yes특정 도메인 특화 모델이 필요하다✅ Yes벡터 검색/임베딩 모델을 운영한다✅ Yes✅ 위 항목 중 하나라도 해당되면, self-hosting은 현실적인 대안이 될 수 있습니다.🚧 2. 배포 준비: 인프라 경계 정의🔍 배포 전에 다음 질문에 답해..