Data Vision

AWS 실전 LLM 셀프 호스팅, 최적화 배포 가이드북

💡 실전 LLM 셀프 호스팅 배포 가이드북조직 또는 개인이 대규모 언어 모델(LLM)을 자체적으로 배포(Self-hosting)하고 운영할 때 필요한 핵심 지침을 정리한 실무 가이드입니다.유튜브 설명 링크 : https://youtu.be/YiCqDJFExEE 📌 1. 왜 Self-Hosting을 고려해야 하는가?조건Self-hosting 고려 대상 여부대규모 트래픽을 처리하고 싶다✅ YesAPI 비용이 부담된다✅ Yes보안/컴플라이언스 이슈가 있다✅ Yes특정 도메인 특화 모델이 필요하다✅ Yes벡터 검색/임베딩 모델을 운영한다✅ Yes✅ 위 항목 중 하나라도 해당되면, self-hosting은 현실적인 대안이 될 수 있습니다.🚧 2. 배포 준비: 인프라 경계 정의🔍 배포 전에 다음 질문에 답해..

AWS 벡터 데이터베이스 활용 : 벡터 데이터를 효율적으로 사용하는 방법AWS 벡터 데이터베이스를 활용한 효과적인 데이터 처리 방법에 대해 알아보겠습니다. 이 글은 AWS 데이터베이스 스페셜리스트들이 공유한 지식과 경험을 바탕으로 작성되었습니다. 벡터 데이터베이스와 생성형 AI를 결합한 사례와 실질적인 활용 전략을 포함하여 따라하기 쉽게 작성되었습니다.생성형 AI와 벡터 데이터베이스의 만남생성형 AI란 무엇인가?생성형 AI(Generative AI)는 방대한 비정형 데이터(예: 인터넷 데이터)를 머신러닝을 통해 학습한 모델입니다. AWS에서는 Amazon Bedrock이라는 완전 관리형 서비스를 통해 강력한 AI 모델을 단일 API로 쉽게 활용할 수 있습니다.검색 증강 생성(Search-Augmented..

scheduler 작업 만들때는, 아래에서, 도메인 부분 삭제를 해줘야 한다. service: reserve-self package: exclude: - test/** - node_modules/** plugins: - serverless-aws-latest-layer-version - serverless-domain-manager # 배치 작업 만들때는 도메인 부분 삭제 custom: customDomain: # 배치 작업 만들때는 도메인 부분 삭제 stage: ${opt:stage} basePath: ${self:service} domainName: ${file(./config.${opt:stage}.yml):baseDomainName} common: ${file(./config.common.yml)..

⚙️ Parameter Store Systems Manager > Application Management > 파라미터 스토어 console 에서 등록 및 조회 전역상수 및 소스상에 존재하면 안되는 민감한 설정값들을 저장해서 사용한다. 파라미터 스토어 에서 정적으로 전역상수 불러오기 아래 설정은 배포시점의 값이 지정되기 때문에 업데이트 된 값을 적용하려면 배포를 다시해줘야 한다. 사용할 상수를 아래처럼 지정해준다. #config.common.yml environment: DB_WRITE_ENDPOINT: ${ssm:/param/DB_WRITE_ENDPOINT} #유형이 SecureString 이면 아래처럼 뒤에 "~true"를 붙여준다. DB_USER: ${ssm:/param/DB_USER~true} j..

⚙️ Install 최초에 한번만 설치 Node.js v12 다운로드 후 Install Command Line Tools for Xcode 11.4 다운로드 후 Install #Local에 한번만 설치 sudo npm install -g serverless sudo npm install -g eslint Mac 에서 npm install 시 아래와 같은 오류가 발생하면 No receipt for 'com.apple.pkg.CLTools_Executables' found at '/'. Command Line Tools for Xcode 11.3 을 다시 설치하고 npm install을 진행하면 해결된다. 해당 이슈에대한 글참고 ⚙️ VS Code Extensions Install EditorConfig f..