📄️ 1. State of building LLMs
Introduction Pipelines
📄️ 2. Data Preparation and Sampling
Word Embeddings
📄️ 3. Coding Attention Mechanisms (Part 01)
- Cơ chế attention là 1 chủ đề rất rộng. Trong phần này, chúng ta sẽ triển khai 4 biến thể khác nhau của attention mechanisms như hình dưới đây:
📄️ 3. Coding Attention Mechanisms (Part 02)
- "self" trong self-attention là gì?
📄️ 3. Coding Attention Mechanisms (Part 03)
3.4. Cơ chế self-attention đơn giản có trainable weights
📄️ 3. Coding Attention Mechanisms (Part 04)
3.5. Che đi (mask) các từ phía sau với cơ chế causal attention
📄️ 3. Coding Attention Mechanisms (Part 05)
3.6. Cải tiến từ single-head attention sang multi-head attention
📄️ 4. LLM Architecture (Part 01)
GPT Backbone
📄️ 4. LLM Architecture (Part 02)
GPT model
📄️ Appendix
Đạo hàm & Gradients
🗃️ bonus-section
4 items