Building Large Language Models from Scratch
Lingua: inglese
Editore: Apress Mai 2026, 2026
- Brossura
- Nuovo
Da: Books-by-Floh, Paderborn, GermaniaBooks-by-Floh
Venditore AbeBooks dal 13 marzo 2026
Condizione: Nuovo
EUR 87,88
Quantità: 2 disponibili
Aggiungi al carrelloDescrizione dell’articolo da parte del venditore
Neuware -This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)—from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:- Pretraining - Building general linguistic and semantic understanding.- Midtraining - Expanding domain-specific capabilities and adaptability.- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.What You’ll Learn- How to configure and optimize your development environment using PyTorch- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.- How to integrate custom CUDA kernels to accelerate transformer computations.- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.Who this book is for:Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch. 556 pp. Englisch.…
Codice articolo 9798868822964
- Titolo
- Building Large Language Models from Scratch
- Autore
- Dilyan Grigorov
- Editore
- Apress Mai 2026
- Anno di pubblicazione
- 2026
- Condizione
- Neu
- Rilegatura
- Taschenbuch
- Lingua
- inglese
- ISBN 13
- 9798868822964
- Peso dell'articolo
- 1032 grammi
- Dimensioni
- 254x178x30 mm
This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)—from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.
Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:
- Pretraining - Building general linguistic and semantic understanding.
- Midtraining - Expanding domain-specific capabilities and adaptability.
- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.
The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.
By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.
What You’ll Learn
- How to configure and optimize your development environment using PyTorch
- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
- How to integrate custom CUDA kernels to accelerate transformer computations.
- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.
Who this book is for:
Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.
"Riassunto" può appartenere a un’altra edizione di questo titolo.
Informazioni sull’autore
Dilyan Grigorov is a software developer with a passion for Python software development, generative deep learning & machine learning, data structures, and algorithms. He is an advocate for open source and the Python language itself. He has 16 years of industry experience programming in Python and has spent 5 of those years researching and testing Generative AI solutions. His passion for them stems from his background as an SEO specialist dealing with search engine algorithms daily. He enjoys engaging with the software community, often giving talks at local meetups and larger conferences. In his spare time, he enjoys reading books, hiking in the mountains, taking long walks, playing with his son, and playing the piano.
"Descrizione articolo" può appartenere a un’altra edizione di questo titolo.
Books-by-Floh
Paderborn, Germania
Venditore AbeBooks dal 13 marzo 2026
Tariffe di spedizione da Germania a U.S.A.
| Articolo | Da 60 a 60 giorni lavorativi | Da 60 a 60 giorni lavorativi |
|---|---|---|
| Primo articolo | EUR 105,00 | EUR 130,00 |
Metodi di pagamento
Descrizione dello Store
Books-by-Floh steht für ein breites, kuratiertes Buchsortiment aus einer Hand. Unser Fokus liegt auf Qualität, Vielfalt und zuverlässiger Abwicklung. Wir führen Romane, Krimis, Thriller, Liebesromane, Lyrik, Anthologien, Mythologie, Fachbücher sowie Werke der Gegenwartsliteratur – für Leserinnen und Leser mit Anspruch. Alle Artikel werden ausschließlich aus Deutschland versendet. Das garantiert kurze Lieferzeiten, transparente Prozesse und einen verlässlichen Service. Unser Anspruch: unkomplizierter Einkauf, Bücher, die man gerne liest – heute und morgen. Books-by-Floh – Bücher. Klar. Verlässlich. …
Specializzazione
BelletristikInformazioni sull’azienda del venditore
Books-by-Floh
Germania
Condizioni di vendita
Impressum:
Florian Gerlach | booksbyfloh.de | Von-Wied-Str. 8b | 33104 Paderborn | Telefon: +4915227781070 | E-Mail: info@booksbyfloh.de | Finanzamt Paderborn | Umsatzsteuer-ID: DE227453788
Books-by-Floh steht für ein breites, kuratiertes Buchsortiment aus einer Hand. Unser Fokus liegt auf Qualität, Vielfalt und zuverlässiger Abwicklung.
Wir führen Romane, Krimis, Thriller, Liebesromane, Lyrik, Anthologien, Mythologie, Fachbücher sowie Werke der Gegenwartsliteratur – für Leserinnen und Leser mit Anspruch.
Alle Artikel werden ausschließlich aus Deutschland versendet. Das garantiert kurze Lieferzeiten, transparente Prozesse und einen verlässlichen Service.
Unser Anspruch: unkomplizierter Einkauf, Bücher, die man gerne liest – heute und morgen.
Books-by-Floh – Bücher. Klar. Verlässlich.
Diritto di recesso
Se sei un consumatore puoi recedere dal contratto in conformità con quanto segue. Per Consumatore si intende qualsiasi persona fisica che agisce per scopi estranei alla propria attività commerciale, imprenditoriale, artigianale o professionale.
Informazioni sul diritto di recesso
Diritto legale di recesso
Hai il diritto di recedere dal presente contratto entro 14 giorni senza fornire alcuna motivazione.
Il periodo di recesso scade dopo 14 giorni dal giorno in cui tu o una terza parte, diversa dal vettore e da te indicata, acquisisce il possesso fisico dell'ultimo bene o dell'ultimo lotto o pezzo.
Per esercitare il diritto di recesso, compila e invia elettronicamente una dichiarazione esplicita sul nostro sito Web, alla voce “I miei acquisti” nella sezione “Mio account”. Ti comunicheremo senza indugio una conferma di ricezione di tale recesso su un supporto durevole (ad es. via e-mail).
Per rispettare il termine di recesso, è sufficiente inviare la comunicazione relativa all'esercizio del diritto di recesso prima della scadenza del periodo di recesso stesso.
Effetti del recesso
In caso di recesso dal presente contratto, ti rimborseremo tutti i pagamenti ricevuti, compresi i costi di spedizione (ad eccezione dei costi supplementari derivanti dalla tua eventuale scelta di un tipo di spedizione diverso dal tipo meno costoso di consegna standard da noi offerto).
Potremo effettuare una detrazione dal rimborso per la perdita di valore dei beni forniti, qualora tale perdita sia il risultato di una manipolazione non necessaria da parte tua.
Eseguiremo il rimborso senza indebito ritardo e non oltre 14 giorni dal giorno in cui saremo informati della tua decisione di recedere dal presente contratto.
Il rimborso sarà effettuato utilizzando lo stesso mezzo di pagamento da te usato per la transazione iniziale, salvo che tu non abbia espressamente concordato altrimenti; in ogni caso, non dovrai sostenere alcun costo quale conseguenza di tale rimborso.
Possiamo trattenere il rimborso finché non avremo ricevuto i beni oppure finché non avrai fornito la prova di averli rispediti, a seconda di quale condizione si verifichi per prima.
Dovrai rispedire i beni o consegnarli a Books-by-Floh, Paderborn, Germany, senza indebito ritardo e, in ogni caso, entro 14 giorni dal giorno in cui ci hai comunicato la tua volontà di recedere dal presente contratto. Il termine è rispettato se rispedisci i beni prima della scadenza del periodo di 14 giorni. I costi diretti della restituzione dei beni saranno a tuo carico. Sei responsabile solo della diminuzione del valore dei beni risultante da una manipolazione diversa da quella necessaria per stabilire la natura, le caratteristiche e il funzionamento dei beni stessi.
Eccezioni al diritto di recesso
Il diritto di recesso non si applica a:
- La fornitura di giornali, periodici o riviste ad eccezione dei contratti di abbonamento; e
- La fornitura di contenuto digitale non fornito su un supporto materiale (ad es. su un CD o DVD), se al momento dell'invio dell'ordine hai accettato l'inizio dell'esecuzione e hai riconosciuto che non avresti potuto recedere una volta iniziata l'esecuzione.