This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)―from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.

Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level―an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:

Pretraining - Building general linguistic and semantic understanding.
Midtraining - Expanding domain-specific capabilities and adaptability.
Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.

The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.

By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.

What You’ll Learn

How to configure and optimize your development environment using PyTorch
The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
How to integrate custom CUDA kernels to accelerate transformer computations.
The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.

Who this book is for:

Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.

"Riassunto" può appartenere a un’altra edizione di questo titolo.

GreatBookPrices

Columbia, MD, U.S.A.

Venditore con 5 stelle

Venditore AbeBooks dal 6 aprile 2009

Tariffe di spedizione nazionale per U.S.A.

Articolo	Da 5 a 14 giorni lavorativi	Da 8 a 14 giorni lavorativi
Primo articolo	EUR 2,28	EUR 2,28

I tempi di consegna sono stabiliti dai venditori e variano in base al corriere e al paese. Gli ordini che devono attraversare una dogana possono subire ritardi e spetta agli acquirenti pagare eventuali tariffe o dazi associati. I venditori possono contattarti in merito ad addebiti aggiuntivi dovuti a eventuali maggiorazioni dei costi di spedizione dei tuoi articoli.

Metodi di pagamento

Descrizione dello Store

SuperBookDeals.com is your top source for finding new books at the absolute lowest prices, guaranteed ! We offer big discounts - everyday - on millions of titles in virtually any category, from Architecture to Zoology -- and everything in between. Discover great deals and super-savings, on professional books, text book titles, the newest computer guides, or your favorite fiction authors. You'll find it all - at HUGE SAVINGS - at SuperBookDeals. Browse through our complete online product catalog today. Serving customers around the world for years, we help thousands find just the books they're looking for -- at incredibly low, bargain prices.…

Informazioni sull’azienda del venditore

Expert Trading Limited

9220 Rumsey Road, Suite 101
Columbia, MD U.S.A. 21045

Contatta il venditoreVisualizza gli articoli di questo venditoreVisita la vetrina del venditore

Condizioni di vendita

Company Name: GreatBookPrices
Legal Entity: Expert Trading, LLC
Address: 6310 Stevens Forest, suite 200, Columbia MD 21046
Email address: CustomerService@SuperBookDeals.com
Phone number: 410-964-0026
consumer complaints can be addressed to address above
Registration #: 52-1713923
Authorized representative: Danielle Hainsey

Diritto di recesso

Se sei un consumatore puoi recedere dal contratto in conformità con quanto segue. Per Consumatore si intende qualsiasi persona fisica che agisce per scopi estranei alla propria attività commerciale, imprenditoriale, artigianale o professionale.

Informazioni sul diritto di recesso

Diritto legale di recesso

Hai il diritto di recedere dal presente contratto entro 14 giorni senza fornire alcuna motivazione.

Il periodo di recesso scade dopo 14 giorni dal giorno in cui tu o una terza parte, diversa dal vettore e da te indicata, acquisisce il possesso fisico dell'ultimo bene o dell'ultimo lotto o pezzo.

Per esercitare il diritto di recesso, compila e invia elettronicamente una dichiarazione esplicita sul nostro sito Web, alla voce “I miei acquisti” nella sezione “Mio account”. Ti comunicheremo senza indugio una conferma di ricezione di tale recesso su un supporto durevole (ad es. via e-mail).

Per rispettare il termine di recesso, è sufficiente inviare la comunicazione relativa all'esercizio del diritto di recesso prima della scadenza del periodo di recesso stesso.

Effetti del recesso

In caso di recesso dal presente contratto, ti rimborseremo tutti i pagamenti ricevuti, compresi i costi di spedizione (ad eccezione dei costi supplementari derivanti dalla tua eventuale scelta di un tipo di spedizione diverso dal tipo meno costoso di consegna standard da noi offerto).

Potremo effettuare una detrazione dal rimborso per la perdita di valore dei beni forniti, qualora tale perdita sia il risultato di una manipolazione non necessaria da parte tua.

Eseguiremo il rimborso senza indebito ritardo e non oltre 14 giorni dal giorno in cui saremo informati della tua decisione di recedere dal presente contratto.

Il rimborso sarà effettuato utilizzando lo stesso mezzo di pagamento da te usato per la transazione iniziale, salvo che tu non abbia espressamente concordato altrimenti; in ogni caso, non dovrai sostenere alcun costo quale conseguenza di tale rimborso.

Possiamo trattenere il rimborso finché non avremo ricevuto i beni oppure finché non avrai fornito la prova di averli rispediti, a seconda di quale condizione si verifichi per prima.

Dovrai rispedire i beni o consegnarli a GreatBookPrices, Bensenville, Illinois, U.S.A., senza indebito ritardo e, in ogni caso, entro 14 giorni dal giorno in cui ci hai comunicato la tua volontà di recedere dal presente contratto. Il termine è rispettato se rispedisci i beni prima della scadenza del periodo di 14 giorni. I costi diretti della restituzione dei beni saranno a tuo carico. Sei responsabile solo della diminuzione del valore dei beni risultante da una manipolazione diversa da quella necessaria per stabilire la natura, le caratteristiche e il funzionamento dei beni stessi.

Eccezioni al diritto di recesso

Il diritto di recesso non si applica a:

La fornitura di giornali, periodici o riviste ad eccezione dei contratti di abbonamento; e
La fornitura di contenuto digitale non fornito su un supporto materiale (ad es. su un CD o DVD), se al momento dell'invio dell'ordine hai accettato l'inizio dell'esecuzione e hai riconosciuto che non avresti potuto recedere una volta iniziata l'esecuzione.

Condizioni di spedizione

Our warehouses across the globe are fully operational without substantial delays. We are working hard and continue to overcome the daily challenges presented by COVID-19. We appreciate your understanding.

Internal processing of your order will take about 1-2 business days. Please allow an additional 4-14 business days for Media Mail delivery. We have multiple ship-from locations - MD,IL,NJ,UK,IN,NV,TN & GA

Building Large Language Models from Scratch

Descrizione dell’articolo da parte del venditore

Dati bibliografici

Riassunto

Descrizione articolo

Informazioni sull’autore