The goal is not simply to memorize commands. It is to develop an understanding that helps you decide which operation to use, when to use it, and what happens when PySpark executes it.

## What if you already know Python?

Then you have an excellent foundation to build upon.

This book helps connect familiar Python programming ideas with distributed data processing. You will see how Python code can be used to describe operations on large datasets while PySpark handles the underlying distributed execution.

You will also learn why some approaches that work well with small datasets may become inefficient when data volume increases.

That distinction matters.

Writing code that produces the correct result is one skill. Understanding how that code behaves when the dataset becomes much larger is another.

What about DataFrames?

DataFrames receive significant attention because they provide a structured way to work with distributed data.

You will learn how to create DataFrames, define schemas, inspect their structure, select columns, create calculated fields, filter records, sort results, handle missing values, perform aggregations, join related datasets, and save processed information.

You will also learn how DataFrame operations connect with PySpark's execution process, giving you a better understanding of what happens beyond the Python code you write. The current PySpark API provides extensive DataFrame functionality for operations such as select, filter, groupBy, join, orderBy, cache, repartition, write, and related processing tasks. ([Apache Spark][2])

## What if your data is messy?

Real datasets are rarely perfect.

A practical data-processing workflow may contain missing values, malformed numbers, inconsistent text, duplicate records, unexpected dates, invalid identifiers, or incomplete relationships between datasets.

This book addresses those situations directly.

You will learn how to identify problematic records, standardize information, validate values, separate invalid data when appropriate, and build repeatable cleaning processes rather than relying on one-time manual corrections.

## How do joins, aggregations, and window functions fit together?

As your skills develop, the book moves beyond basic transformations.

You will learn how separate datasets can be connected through joins, how grouped information can be summarized through aggregations, and how window functions can provide analytical calculations while preserving individual records.

You will work with concepts such as customer totals, transaction summaries, rankings, running calculations, previous and subsequent records, and other analytical patterns.

This helps turn PySpark from a collection of commands into a practical tool for building complete data-processing workflows.

## What happens when your application becomes slow?

Correct results are important, but performance matters too.

The book introduces the concepts that influence PySpark performance, including partitions, shuffles, data movement, joins, aggregation, caching, partition imbalance, data skew, memory usage, and execution plans.

You will learn why some operations require substantial data movement and why reducing unnecessary work can make a significant difference.

You will also learn how to approach performance problems systematically instead of simply adding more resources and hoping the application becomes faster.

## Can PySpark handle more than batch processing?

Yes, and the book introduces that broader picture.

You will explore structured streaming concepts, including streaming DataFrames, output modes, checkpoints, event-time processing, windows, and late-arriving data.

"Riassunto" può appartenere a un’altra edizione di questo titolo.

PBShop.store UK

Fairford, GLOS, Regno Unito

Venditore con 5 stelle

Venditore AbeBooks dal 11 giugno 1999

Tariffe di spedizione da Regno Unito a U.S.A.

Articolo	Da 10 a 20 giorni lavorativi	Da 10 a 20 giorni lavorativi
Primo articolo	EUR 5,91	EUR 5,91

I tempi di consegna sono stabiliti dai venditori e variano in base al corriere e al paese. Gli ordini che devono attraversare una dogana possono subire ritardi e spetta agli acquirenti pagare eventuali tariffe o dazi associati. I venditori possono contattarti in merito ad addebiti aggiuntivi dovuti a eventuali maggiorazioni dei costi di spedizione dei tuoi articoli.

Metodi di pagamento

Descrizione dello Store

**Please note our transit times are from the date of dispatch.** We first started out as “The Paperback Exchange,” a chain of physical bookstores where we would part exchange your beloved books for new stories to transport you to faraway places. However, as shopping started to evolve to online shops and marketplaces, we bid our stores goodbye to become “PBShop.” This transition has only allowed us to blossom as we now ship thousands of titles to book lovers across the globe. We pride ourselves in being a community of local book lovers which allows our passion and devotion to shine in everything we do. In 2020 we not only celebrated our 20th birthday but our 1st birthday as being completely employee owned after becoming an E.O.T in September 2019. We are proud to be different and embrace standing apart on a book mountain by working from a virtual inventory which allows us to provide thousands of books that may be difficult to get for your bookshelf or your studies. Working with a number of different suppliers allows us to explore other avenues such as puzzles, sheet music and even stationery so we really do have something for everyone. Life is about being versatile in all realms of existence. If this is your first purchase with us, or you are a returning customer, we would like to welcome you to the PBShop family, for there is no friend as loyal as a book. We are a company who put our customers at the centre of everything we do as we understand the importance of reading because once you learn to read, you will forever be free. There are a whole lot of things in this world of ours that we are yet to explore, which is why we will forever inspire curious minds.…

Specializzazione

Hardbacks, Paperbacks

Informazioni sull’azienda del venditore

Pbshop.co.uk

Unit 22 Horcott Industrial Estate, Horcott Road
Fairford, Regno Unito GL7 4BX

Contatta il venditoreVisualizza gli articoli di questo venditoreVisita la vetrina del venditore

Condizioni di vendita

Returns Policy
We ask all customers to contact us for authorisation should they wish to return their order. Orders returned without authorisation may not be credited.
If you wish to return, please contact us within 14 days of receiving your order to obtain authorisation.
Returns requested beyond this time will not be authorised.
Our team will provide full instructions on how to return your order and once received our returns department will process your refund.
Please note the cost to return any unwanted order to us is borne by the buyer.
Should your order arrive damaged, not as advertised or faulty, we must be advised of this within 14 days of delivery. Please contact us so we can find the best solution for you.

Our Customer Care Team can be contacted by emailing alborders@paperbackshop.co.uk, or by calling our UK Office on +441285 712 917. We are available 9:00am till 5:30pm GMT Monday to Friday.

Diritto di recesso

Se sei un consumatore puoi recedere dal contratto in conformità con quanto segue. Per Consumatore si intende qualsiasi persona fisica che agisce per scopi estranei alla propria attività commerciale, imprenditoriale, artigianale o professionale.

Informazioni sul diritto di recesso

Diritto legale di recesso

Hai il diritto di recedere dal presente contratto entro 14 giorni senza fornire alcuna motivazione.

Il periodo di recesso scade dopo 14 giorni dal giorno in cui tu o una terza parte, diversa dal vettore e da te indicata, acquisisce il possesso fisico dell'ultimo bene o dell'ultimo lotto o pezzo.

Per esercitare il diritto di recesso, compila e invia elettronicamente una dichiarazione esplicita sul nostro sito Web, alla voce “I miei acquisti” nella sezione “Mio account”. Ti comunicheremo senza indugio una conferma di ricezione di tale recesso su un supporto durevole (ad es. via e-mail).

Per rispettare il termine di recesso, è sufficiente inviare la comunicazione relativa all'esercizio del diritto di recesso prima della scadenza del periodo di recesso stesso.

Effetti del recesso

In caso di recesso dal presente contratto, ti rimborseremo tutti i pagamenti ricevuti, compresi i costi di spedizione (ad eccezione dei costi supplementari derivanti dalla tua eventuale scelta di un tipo di spedizione diverso dal tipo meno costoso di consegna standard da noi offerto).

Potremo effettuare una detrazione dal rimborso per la perdita di valore dei beni forniti, qualora tale perdita sia il risultato di una manipolazione non necessaria da parte tua.

Eseguiremo il rimborso senza indebito ritardo e non oltre 14 giorni dal giorno in cui saremo informati della tua decisione di recedere dal presente contratto.

Il rimborso sarà effettuato utilizzando lo stesso mezzo di pagamento da te usato per la transazione iniziale, salvo che tu non abbia espressamente concordato altrimenti; in ogni caso, non dovrai sostenere alcun costo quale conseguenza di tale rimborso.

Possiamo trattenere il rimborso finché non avremo ricevuto i beni oppure finché non avrai fornito la prova di averli rispediti, a seconda di quale condizione si verifichi per prima.

Dovrai rispedire i beni o consegnarli a PBShop.store UK, Fairford, United Kingdom, +44 1285 712917, senza indebito ritardo e, in ogni caso, entro 14 giorni dal giorno in cui ci hai comunicato la tua volontà di recedere dal presente contratto. Il termine è rispettato se rispedisci i beni prima della scadenza del periodo di 14 giorni. I costi diretti della restituzione dei beni saranno a tuo carico. Sei responsabile solo della diminuzione del valore dei beni risultante da una manipolazione diversa da quella necessaria per stabilire la natura, le caratteristiche e il funzionamento dei beni stessi.

Eccezioni al diritto di recesso

Il diritto di recesso non si applica a:

La fornitura di giornali, periodici o riviste ad eccezione dei contratti di abbonamento; e
La fornitura di contenuto digitale non fornito su un supporto materiale (ad es. su un CD o DVD), se al momento dell'invio dell'ordine hai accettato l'inizio dell'esecuzione e hai riconosciuto che non avresti potuto recedere una volta iniziata l'esecuzione.

Condizioni di spedizione

Orders are shipped from our UK warehouse. Delivery thereafter is between 4 and 14 business days. Please contact us if you have any queries about our services or products.

Learning PySpark from Scratch

Descrizione dell’articolo da parte del venditore

Dati bibliografici

Riassunto