λ°μν
π§ 1. Transformers (by Hugging Face)
π‘ κ°μ
- μμ°μ΄ μ²λ¦¬(NLP)λ₯Ό λ°°μ°λ μ¬λμ΄λΌλ©΄ κΌ κ±°μ³μΌ νλ λν μ€νμμ€μ λλ€.
- BERT, GPT, T5, Llama κ°μ μΈμ΄ λͺ¨λΈμ λΆλ¬μμ λ°λ‘ μ€μ΅ν μ μλ λΌμ΄λΈλ¬λ¦¬μμ.
- λ¬Έμ₯ λΆλ₯, κ°μ λΆμ, μμ½, λ²μ, μ§λ¬Έμλ΅ λ± μ¬λ¬ μμ μ μ½κ² ν΄λ³Ό μ μμ΅λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
pip install transformersν λͺ μ€ μ½λλ‘ AIκ° λ¬Έμ₯μ μ΄ν΄νκ³ μμ±νλ κ³Όμ μ 체νν μ μμ΅λλ€.- μλ₯Ό λ€μ΄, βμ΄ μν μ΄λ μ΄μ?β β βμ¬λ―Έμμμ΄μ.β κ°μ λ¬Έμ₯μ κ°μ λΆμ λͺ¨λΈλ‘ λΆλ₯ν΄λ³Ό μ μμ΅λλ€.
- μ½λ μ€μ΅μ ν΅ν΄ ν ν°ν(tokenization), attention ꡬ쑰, μ¬μ νμ΅(fine-tuning) κ°λ μ μμ°μ€λ½κ² μ΄ν΄νκ² λ©λλ€.
π± μ΄λ³΄μ ν
- Hugging Faceμ model hubμλ μμ² κ°μ λ¬΄λ£ λͺ¨λΈμ΄ μμ΅λλ€.
- βνκ΅μ΄ λͺ¨λΈβ κ²μμΌλ‘
KoBERT,KoGPT,KR-BARTλ± νκ΅μ΄ μ€μ΅λ κ°λ₯ν©λλ€.
π§© 2. LangChain
π‘ κ°μ
- GPT κ°μ λν μΈμ΄λͺ¨λΈμ μ΄μ©ν΄ μ±λ΄, λ¬Έμμμ½, κ²μ AI λ±μ μ½κ² λ§λ€ μ μλ νλ μμν¬μ λλ€.
- LLMμ΄ λ¨μν βλλ΅βνλ κ²μ΄ μλλΌ, κ²μνκ³ , λ¬Έμλ₯Ό μ½κ³ , κ³μ°νκ³ , μμ½νλ κΈ°λ₯κΉμ§ μ°κ²°ν μ μκ² ν΄μ€λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
pip install langchainμΌλ‘ μ€μΉ ν,
βλ΄κ° μνλ λλ‘ λνν AIλ₯Ό ꡬμ±βνλ μ°μ΅μ ν μ μμ΅λλ€.- μλ₯Ό λ€μ΄, PDF λ¬Έμλ₯Ό μ½κ³ μμ½νλ μ±λ΄μ λ§λ€ μ μμ΅λλ€.
- μ€μ΅μ ν΅ν΄ RAG(Retrieval-Augmented Generation) ꡬ쑰, μ¦
βκ²μ β μμ±β κ³Όμ μ λ°°μ°κ² λ©λλ€.
π± μ΄λ³΄μ ν
- μ²μμ 볡μ‘ν΄ λ³΄μ΄μ§λ§, βChainβ β βAgentβ μμΌλ‘ λ¨κ³λ³λ‘ λ°°μκ°λ©΄ μ΄ν΄νκΈ° μ½μ΅λλ€.
- LangChain 곡μ λ¬Έμμλ μΉμ ν μμ κ° λ§μμ.
π¦ 3. LLaMA 2 (by Meta)
π‘ κ°μ
- λ©ν(νμ΄μ€λΆ)μμ λ§λ μ€νμμ€ λν μΈμ΄λͺ¨λΈ(LLM)μ λλ€.
- GPT-3μ²λΌ κ°λ ₯νμ§λ§, 무λ£λ‘ λ€μ΄λ‘λνκ³ μ€νν μ μλ μ μ΄ ν° μ₯μ μ λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
- Hugging Faceμμ Llama 2 λͺ¨λΈμ λΆλ¬μ λ¬Έμ₯ μμ±μ΄λ μμ½μ μ§μ μ€νν΄λ³Ό μ μμ΅λλ€.
- βλͺ¨λΈμ΄ ν μ€νΈλ₯Ό μ΄λ»κ² μ΄ν΄νκ³ λ§λ€μ΄λ΄λμ§βλ₯Ό μ€ννλ©° κ°μ μ΅ν μ μμ΅λλ€.
- κ³ κΈ λ¨κ³λ‘ κ°λ©΄, LoRA κ°μ κΈ°λ²μ μ΄μ©ν΄ λλ§μ μ£Όμ μ λ§κ² λͺ¨λΈμ λ―ΈμΈμ‘°μ (fine-tuning) ν μλ μμ΅λλ€.
π± μ΄λ³΄μ ν
- λͺ¨λΈ ν¬κΈ°κ° ν¬κΈ° λλ¬Έμ, Colabμ΄λ Kaggleμμ μ€μ΅νλ κ² μ’μ΅λλ€.
- λ¬΄λ£ GPU μμμ νμ©ν΄ μμ λ²μ (7B)μ μ€μ΅νλ κ²μ μΆμ²ν©λλ€.
π¨ 4. Stable Diffusion (by Stability AI)
π‘ κ°μ
- ν μ€νΈλ₯Ό μ λ ₯νλ©΄ μ΄λ―Έμ§λ₯Ό λ§λ€μ΄μ£Όλ μ΄λ―Έμ§ μμ± AIμ λλ€.
- βκ³ μμ΄κ° μ°μ£Όλ³΅μ μ κ³ μ»€νΌ λ§μλ κ·Έλ¦Όβ κ°μ κ±Έ μ§μ λ§λ€μ΄λ³Ό μ μμ΄μ βπ±π
- λ―Έμ , κ²μ, κ΄κ³ , μ½ν μΈ λμμΈ λΆμΌμμλ νμ©λ©λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
diffusersν¨ν€μ§λ₯Ό μ€μΉνλ©΄ Stable Diffusion λͺ¨λΈμ λͺ μ€ μ½λλ‘ μ€νν μ μμ΅λλ€.- μ€μ΅μ ν΅ν΄ ν μ€νΈ μλ² λ© β μ΄λ―Έμ§ λ³ν, νμ°(diffusion) κ°λ μ λ°°μΈ μ μμ΅λλ€.
- μ΄λ―Έμ§ μμ± κ³Όμ μ λ¨κ³λ³λ‘ μκ°νν΄λ³΄λ©΄, λ₯λ¬λμ νλ₯ μ κ³Όμ μ μ΄ν΄νκΈ° μ¬μμ§λλ€.
π± μ΄λ³΄μ ν
- λͺ¨λΈμ΄ ν¬λ―λ‘ Google Colabμ νμ©νμΈμ.
- μ΄λ―Έμ§ μμ± κ³Όμ μ 곡λΆνλ©΄μ GAN β Diffusion λͺ¨λΈ μ§νμ¬λ₯Ό κ°μ΄ 보면 μ’μ΅λλ€.
π 5. Hands-On Large Language Models (by Jay Alammar)
π‘ κ°μ
- Transformerμ LLMμ ꡬ쑰λ₯Ό μ§μ μ½λλ‘ κ΅¬ννκ³ μ€νν΄λ³Ό μ μλ νμ΅μ© λ ν¬μ§ν 리μ λλ€.
- κ·Έλ¦Όκ³Ό μ£Όμμ΄ λ§μμ μ λ¬Έμκ° βLLMμ΄ μ΄λ»κ² μλνλμ§β μ§κ΄μ μΌλ‘ μ΄ν΄νκΈ° μ’μ΅λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
- Attention, Feed-forward, Tokenization, LoRA λ±μ λ ΈνΈλΆμΌλ‘ μ§μ μ€ννλ©΄μ 곡λΆν μ μμ΅λλ€.
- PyTorch κΈ°λ° μμ λΌμ μμ β μ½λ β κ²°κ³Ό μκ°νμ νλ¦μ΄ λͺ νν©λλ€.
- βGPTλ λ΄λΆμ μΌλ‘ μ΄λ κ² λμνλꡬλβλ₯Ό 체κ°ν μ μμ΅λλ€.
π± μ΄λ³΄μ ν
- Jay Alammarμ λΈλ‘κ·Έ(jalammar.github.io)μλ Transformer κ·Έλ¦Ό μ€λͺ μ΄ μ λ§ λͺ νν©λλ€.
- λͺ¨λΈ ꡬ쑰λ₯Ό λ¨Όμ κ·Έλ¦ΌμΌλ‘ λ³΄κ³ , κ·Έλ€μ μ½λλ‘ κ΅¬νν΄λ³΄λ©΄ μ΄ν΄κ° λ λ°°λ‘ λΉ¨λΌμ§λλ€.
βοΈ 6. OpenAI Cookbook
π‘ κ°μ
- OpenAIμ GPT, Whisper(μμ± μΈμ), TTS(μμ± μμ±) APIλ₯Ό μ€μ΅ μμ μ€μ¬μΌλ‘ μ 리ν κ°μ΄λλΆμ λλ€.
- βμ½λλ‘ λ°°μ°λ AI μμ© κ΅κ³Όμβ κ°μ μ‘΄μ¬μμ.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
- ChatGPT APIλ₯Ό νμ©ν΄ ν μ€νΈ μμ½, λ²μ, κ°μ λΆμ, μ½λ μμ± λ±μ μ€μ΅ν μ μμ΅λλ€.
- Whisper APIλ‘ μμ±μ ν μ€νΈλ‘ λ³ννλ μ€νλ κ°λ₯ν©λλ€.
- μ€μ΅μ ν΅ν΄ API νΈμΆ, ν둬ννΈ μμ§λμ΄λ§, ν¨μ νΈμΆ(Function Calling) λ±μ λ°°μΈ μ μμ΅λλ€.
π± μ΄λ³΄μ ν
- OpenAIμ Playgroundλ₯Ό μ΄μ©νλ©΄, μ½λ© μμ΄λ λͺ¨λΈ λ°μμ μ§μ μ€νν΄λ³Ό μ μμ΅λλ€.
- βChatGPTλ₯Ό λ¨μν μ¬μ©νλ λ¨κ³ β μ§μ μμ©νλ λ¨κ³βλ‘ μ±μ₯νκ³ μΆμ νμμκ² μ΅κ³ μλ£μ λλ€.
π§° 7. Unbody
π‘ κ°μ
- λ°μ΄ν°λ₯Ό μ μ₯νκ³ , μλ² λ©μΌλ‘ 벑ν°ννκ³ , λͺ¨λΈκ³Ό μ°κ²°νλ AI λ°±μλ μ€μ΅μ© μ€νμμ€μ λλ€.
- βAIκ° λμνκΈ° μν μλ² μͺ½ ꡬ쑰βλ₯Ό λ°°μΈ μ μμ΅λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
- ν μ€νΈ λ°μ΄ν°λ₯Ό 벑ν°λ‘ λ³ννκ³ , κ·Έ 벑ν°λ₯Ό κΈ°λ°μΌλ‘ μ μ¬ν λ¬Έμ₯μ κ²μνλ μ€νμ ν΄λ³Ό μ μμ΅λλ€.
- LangChainκ³Ό ν¨κ» μ°λ©΄ λ¬Έμ κ²μ + AI μμ½ μλΉμ€λ₯Ό μ§μ λ§λ€μ΄λ³Ό μ μμ΅λλ€.
- μ΄λ₯Ό ν΅ν΄ βAIκ° μ 보λ₯Ό μ΄λ»κ² κΈ°μ΅νκ³ κΊΌλ΄λμ§β κ°μ μ΅νκ² λ©λλ€.
π± μ΄λ³΄μ ν
- AI λͺ¨λΈλ§μ΄ μλλΌ AI μμ€ν μ 체 ꡬ쑰(λ°μ΄ν°βλͺ¨λΈβAPI)λ₯Ό λ°°μ°κ³ μΆμ νμμκ² μ’μ΅λλ€.
- 벑ν°DB, μλ² λ© κ°λ μ RAG(κ²μ+μμ±)μ ν΅μ¬μ΄λ κΌ μ΅νλμΈμ.
π§© 8. 12-Factor Agents
π‘ κ°μ
- βAI μμ΄μ νΈ(μ€μ€λ‘ νλ¨νκ³ νλνλ AI)βλ₯Ό λ§λ€ λ μ§μΌμΌ ν 12κ°μ§ μμΉμ μ 리ν νλ‘μ νΈμ λλ€.
- λ¨μν λͺ¨λΈμ΄ μλλΌ, μμ μ μ΄κ³ μ€λ₯ μλ AI μμ€ν μ λ§λλ μ² νμ μλ €μ€λλ€.
π 무μμ μ΄λ»κ² λ°°μΈ μ μλ
- κ° μμΉ(μν κ΄λ¦¬, μ€μ λΆλ¦¬, λ‘κ·Έ κ΄λ¦¬ λ±)μ LangChain μ€μ΅μ μ μ©ν΄λ³΄λ©°
βAIκ° μ€μ νκ²½μμ μ μ€ν¨νλμ§βλ₯Ό λ°°μΈ μ μμ΅λλ€. - μλ₯Ό λ€μ΄, βμμ΄μ νΈκ° 무ν루νμ λΉ μ§λ μ΄μ βλ₯Ό μ§μ μ¬ννκ³ κ³ μ³λ³΄λ μμΌλ‘ νμ΅ν©λλ€.
π± μ΄λ³΄μ ν
- λ¨μν λͺ¨λΈ μ€ν λ¨κ³λ₯Ό λμ΄μ, AIλ₯Ό μ νμ²λΌ μ€κ³νλ μ¬κ³ λ°©μμ λ°°μΈ μ μμ΅λλ€.
- λνΒ·λΆνΈμΊ νμ βAI νλ‘μ νΈ μ€λ¬΄β μμ κ³Όλ μ μ΄μΈλ¦½λλ€.
π AI μ²μ λ°°μ°λ νμμ μν νμ΅ λ‘λλ§΅ (μΆμ² μμ)
| λ¨κ³ | νμ΅ λͺ©ν | μΆμ² λ ν¬μ§ν 리 |
|---|---|---|
| 1οΈβ£ | μΈμ΄λͺ¨λΈμ κΈ°λ³Έ κ°λ μ΅νκΈ° | Transformers, Hands-On LLM |
| 2οΈβ£ | μ€μ μ±λ΄/μμ½ κΈ°λ₯ ꡬννκΈ° | LangChain, OpenAI Cookbook |
| 3οΈβ£ | μ€νλͺ¨λΈ ꡬ쑰 νμνκΈ° | LLaMA 2 |
| 4οΈβ£ | μκ° AIμ μμ± λͺ¨λΈ μ΄ν΄νκΈ° | Stable Diffusion |
| 5οΈβ£ | λ°±μλμ μμ΄μ νΈ μμ€ν μ΄ν΄νκΈ° | Unbody, 12-Factor Agents |
π¬ μΆκ°λ‘ λμμ΄ λ λ§ν μ 보
π λ¬΄λ£ νμ΅ λ¦¬μμ€
- Hugging Face Course β μ΄λ³΄μ μΉνμ μΈ NLP μ½μ€
- Fast.ai Practical Deep Learning β μ€μ΅ μμ£Ό AI μ λ¬Έ κ°μ’
- DeepLearning.AI Short Courses β ChatGPT, LangChain, RAG λ¬΄λ£ κ°μ
π» μ€μ΅ νκ²½ μΆμ²
- Google Colab (λ¬΄λ£ GPU μ§μ)
- Kaggle Notebooks
- Hugging Face Spaces (μΉμμ λ°λ‘ μ€ν κ°λ₯)
π§ νμ΅ ν
- μ²μμ βλͺ¨λΈ ꡬ쑰βλ³΄λ€ βλμ μ리βλ₯Ό μ§κ΄μ μΌλ‘ λλΌλ μ€μ΅μ μ§μ€νμΈμ.
- βμ΄κ±΄ μ μ΄λ κ² μλνμ§?βλΌλ νΈκΈ°μ¬μ΄ μκΈ°λ©΄ β μ½λμ λ Όλ¬ΈμΌλ‘ μ‘°κΈμ© νμ₯νλ©΄ λ©λλ€.
- κΎΈμ€ν βλλ§μ λ―Έλ νλ‘μ νΈβλ₯Ό λ§λ€μ΄λ³΄μΈμ. μ: κ°μ λΆμ μ±λ΄, μ΄λ―Έμ§ μμ±κΈ° λ±.
λ°μν