Elemento fondamentale del jazz è l'improvvisazione. Di norma, questa ricalca il preesistente giro armonico di un brano tradizionale o di una composizione originale. I musicisti imitano con i loro strumenti lo stile vocale dei cantanti, inserendo ad esempio nella melodia, con l'uso di glissando e slide, sfumature di altezza (come le cosiddette "blue notes", le note abbassate di un quarto di tono rispetto al bemolle nella scala del blues).

Il ritmo è caratterizzato dall'uso costante del sincopato (con accenti in posizioni impreviste) e dallo swing: effetto prodotto dal jazzista nel corso dell'esecuzione, in cui la melodia viene percepita leggermente ritardata rispetto all'attesa scansione della misura (da cui la sensazione di spinta strisciante). Le partiture scritte, non sempre esistenti, fungono più che altro da guida e forniscono la struttura in cui inserire l'improvvisazione.

La strumentazione tipica del jazz ha come nucleo una sezione ritmica costituita da pianoforte, contrabbasso, batteria e a volte chitarra; su questa base ritmica si appoggia una grande varietà di strumenti melodici: da quelli più jazzisticamente consolidati, come il sassofono e la tromba, a quelli solo sporadicamente presenti, come il violino o il flauto. Tuttavia, nessun mezzo sonoro è escluso a priori nel jazz, che nella sua storia ha visto utilizzare strumenti come la fisarmonica o le launeddas sarde – per non parlare dell'infinita varietà delle percussioni – e formazioni che vanno dal solista senza accompagnamento alla grande orchestra e alla banda di ottoni.

Principio base del jazz è quello per cui alla progressione di accordi di una canzone si può adattare un numero infinito di melodie. Il musicista improvvisa nuove melodie che rispondono a quel giro armonico, il quale viene riproposto a ogni intervento di un nuovo solista.

I modelli formali più frequenti sono quelli del song e del blues. Il primo ha la forma AABA, e consiste abitualmente in trentadue battute in suddivise in quattro sezioni da otto battute; la seconda forma (AAB) è in dodici battute. A differenza del song, il blues ha un giro armonico abbastanza standardizzato, organizzato attorno a tre accordi (tonica, sottodominante, dominante).