Building Large Language Models from Scratch
Lingua: inglese
Editore: APRESS L.P. Mai 2026, 2026
- Brossura
- Nuovo
Da: BuchWeltWeit Ludwig Meier e.K., Bergisch Gladbach, GermaniaBuchWeltWeit Ludwig Meier e.K.
Venditore AbeBooks dal 11 gennaio 2012
Condizione: Nuovo
EUR 64,19
Quantità: 2 disponibili
Aggiungi al carrelloDescrizione dell’articolo da parte del venditore
This item is printed on demand - it takes 3-4 days longer - Neuware -This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs) from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.Starting from the essentials, you ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level an essential skill for scaling real-world LLMs. You ll also gain mastery over the phases of training that define today s leading models:Pretraining - Building general linguistic and semantic understanding.Midtraining - Expanding domain-specific capabilities and adaptability.Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.By the end of this book, you ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.What You ll LearnHow to configure and optimize your development environment using PyTorchThe mechanics of tokenization, embeddings, normalization, and attention mechanisms.How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.How to integrate custom CUDA kernels to accelerate transformer computations.The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks. 530 pp. Englisch.…
Codice articolo 9798868822964
- Titolo
- Building Large Language Models from Scratch
- Autore
- Dilyan Grigorov
- Editore
- APRESS L.P. Mai 2026
- Anno di pubblicazione
- 2026
- Condizione
- Neu
- Rilegatura
- Taschenbuch
- Lingua
- inglese
- ISBN 13
- 9798868822964
- Peso dell'articolo
- 1032 grammi
- Dimensioni
- 254x178x30 mm
This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)―from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.
Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level―an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:
- Pretraining - Building general linguistic and semantic understanding.
- Midtraining - Expanding domain-specific capabilities and adaptability.
- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.
The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.
By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.
What You’ll Learn
- How to configure and optimize your development environment using PyTorch
- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
- How to integrate custom CUDA kernels to accelerate transformer computations.
- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.
Who this book is for:
Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.
"Riassunto" può appartenere a un’altra edizione di questo titolo.
Informazioni sull’autore
Dilyan Grigorov is a software developer with a passion for Python software development, generative deep learning & machine learning, data structures, and algorithms. He is an advocate for open source and the Python language itself. He has 16 years of industry experience programming in Python and has spent 5 of those years researching and testing Generative AI solutions. His passion for them stems from his background as an SEO specialist dealing with search engine algorithms daily. He enjoys engaging with the software community, often giving talks at local meetups and larger conferences. In his spare time, he enjoys reading books, hiking in the mountains, taking long walks, playing with his son, and playing the piano.
"Descrizione articolo" può appartenere a un’altra edizione di questo titolo.
BuchWeltWeit Ludwig Meier e.K.
Bergisch Gladbach, Germania
Venditore AbeBooks dal 11 gennaio 2012
Tariffe di spedizione da Germania a U.S.A.
| Articolo | Da 5 a 15 giorni lavorativi | Da 5 a 15 giorni lavorativi |
|---|---|---|
| Primo articolo | EUR 23,00 | EUR 23,00 |
Metodi di pagamento
- Assegno
- Bonifico bancario
- PayPal
Informazioni sull’azienda del venditore
BuchWeltWeit Ludwig Meier e.K.
Germania
Condizioni di vendita
BuchWeltWeit Inh. Ludwig Meier e.K.
Inhaber: Ludwig Meier
De-Gasperi-Str. 8
51469 Bergisch Gladbach
Deutschland
Tel.: +49(0)22028659300
Fax: +49(0)22028659301
E-Mail: info@buchweltweit.de
Registergericht: Amtsgericht Köln
Registernummer: HRA 28253
Umsatzsteuer-Identifikationsnummer: DE815259907
Wir sind zur Teilnahme an einem Streitbeilegungsverfahren vor einer Verbraucherschlichtungsstelle weder verpflichtet noch bereit.
Diritto di recesso
Se sei un consumatore puoi recedere dal contratto in conformità con quanto segue. Per Consumatore si intende qualsiasi persona fisica che agisce per scopi estranei alla propria attività commerciale, imprenditoriale, artigianale o professionale.
Informazioni sul diritto di recesso
Diritto legale di recesso
Hai il diritto di recedere dal presente contratto entro 14 giorni senza fornire alcuna motivazione.
Il periodo di recesso scade dopo 14 giorni dal giorno in cui tu o una terza parte, diversa dal vettore e da te indicata, acquisisce il possesso fisico dell'ultimo bene o dell'ultimo lotto o pezzo.
Per esercitare il diritto di recesso, compila e invia elettronicamente una dichiarazione esplicita sul nostro sito Web, alla voce “I miei acquisti” nella sezione “Mio account”. Ti comunicheremo senza indugio una conferma di ricezione di tale recesso su un supporto durevole (ad es. via e-mail).
Per rispettare il termine di recesso, è sufficiente inviare la comunicazione relativa all'esercizio del diritto di recesso prima della scadenza del periodo di recesso stesso.
Effetti del recesso
In caso di recesso dal presente contratto, ti rimborseremo tutti i pagamenti ricevuti, compresi i costi di spedizione (ad eccezione dei costi supplementari derivanti dalla tua eventuale scelta di un tipo di spedizione diverso dal tipo meno costoso di consegna standard da noi offerto).
Potremo effettuare una detrazione dal rimborso per la perdita di valore dei beni forniti, qualora tale perdita sia il risultato di una manipolazione non necessaria da parte tua.
Eseguiremo il rimborso senza indebito ritardo e non oltre 14 giorni dal giorno in cui saremo informati della tua decisione di recedere dal presente contratto.
Il rimborso sarà effettuato utilizzando lo stesso mezzo di pagamento da te usato per la transazione iniziale, salvo che tu non abbia espressamente concordato altrimenti; in ogni caso, non dovrai sostenere alcun costo quale conseguenza di tale rimborso.
Possiamo trattenere il rimborso finché non avremo ricevuto i beni oppure finché non avrai fornito la prova di averli rispediti, a seconda di quale condizione si verifichi per prima.
Dovrai rispedire i beni o consegnarli a BuchWeltWeit Ludwig Meier e.K., Bergisch Gladbach, Germany, senza indebito ritardo e, in ogni caso, entro 14 giorni dal giorno in cui ci hai comunicato la tua volontà di recedere dal presente contratto. Il termine è rispettato se rispedisci i beni prima della scadenza del periodo di 14 giorni. I costi diretti della restituzione dei beni saranno a tuo carico. Sei responsabile solo della diminuzione del valore dei beni risultante da una manipolazione diversa da quella necessaria per stabilire la natura, le caratteristiche e il funzionamento dei beni stessi.
Eccezioni al diritto di recesso
Il diritto di recesso non si applica a:
- La fornitura di giornali, periodici o riviste ad eccezione dei contratti di abbonamento; e
- La fornitura di contenuto digitale non fornito su un supporto materiale (ad es. su un CD o DVD), se al momento dell'invio dell'ordine hai accettato l'inizio dell'esecuzione e hai riconosciuto che non avresti potuto recedere una volta iniziata l'esecuzione.
Condizioni di spedizione
Der Versand ins Ausland findet IMMER mit DHL statt. Auch nach Österreich verschicken wir nur mit DHL! Daher Standardversand == Luftpost!