Dylan è stato a lungo affascinato dal concetto della molteplicità del sé, evidente in ogni cosa, dalla sua passione per la frase di Arthur Rimbaud «Je est un autre» ("Io sono un altro"), che secondo lui fece suonare un campanello d'allarme nella sua mente quando la lesse per la prima volta negli anni '60,^[8] al testo della sua canzone del 1983 con influenze rastafari I and I.^[9] In un'intervista per promuovere l'album Time Out of Mind nel 1997, Dylan disse: «Cambio nel corso della giornata. Mi sveglio e sono una persona, e quando vado a dormire so per certo di essere qualcun altro. Non so chi sono per la maggior parte del tempo. Non mi importa nemmeno».^[10]

Una parafrasi di quest'ultima citazione è pronunciata dal personaggio di Richard Gere (Billy the Kid) tramite narrazione fuori campo nel film biografico non convenzionale del 2007 di Todd Haynes Io non sono qui (che presenta il sottotitolo "Ispirato dalla musica e alle molte vite di Bob Dylan" e prende esplicitamente come soggetto la personalità in costante cambiamento di Dylan).^[11] La natura camaleontica di Dylan aveva indotto i critici a usare la frase di Walt Whitman «I Contain Multitudes» ("Contengo moltitudini") in relazione a lui molto prima che scrivesse una canzone con quel titolo.^[12] Lo stesso Dylan ha citato la frase in un'intervista per il documentario del 2019 Rolling Thunder Revue: A Bob Dylan Story by Martin Scorsese.^[13]

Interrogato circa la canzone dallo storico Douglas Brinkley nel corso di un'intervista al The New York Times per promuovere l'uscita di Rough and Rowdy Ways, Dylan disse che "non aveva dovuto faticare molto per scrivere il testo del brano": «È il genere di cose in cui accumuli versi del flusso di coscienza e poi lo lasci stare e vieni a tirare poi fuori le cose. In quella particolare canzone, gli ultimi versi sono arrivati per primi. Quindi è lì che la canzone è andata fin dall'inizio. Ovviamente, il catalizzatore della canzone è il titolo. È uno di quelli in cui la scrivi d'istinto. Una specie di stato di trance. La maggior parte delle mie canzoni recenti sono così. I testi sono la cosa reale, tangibile, non sono metafore».^[14]

Brinkley chiese inoltre a Dylan dell'inaspettata inclusione del nome di Anna Frank nella canzone, e Dylan rispose che la storia della Frank era "molto profonda" prima di aggiungere: «Potresti anche chiedere: "Cosa ti ha spinto a decidere di includere Indiana Jones o i Rolling Stones". I nomi stessi non sono solitari. È la loro combinazione che si aggiunge a qualcosa di più delle loro singole parti. Entrare troppo nei dettagli è irrilevante. La canzone è come un dipinto, non puoi vederla tutta in una volta se stai troppo vicino. I singoli pezzi sono solo parte di un tutto... Da qualche parte nell'universo questi tre nomi devono aver pagato un prezzo per ciò che rappresentano e sono legati insieme. E difficilmente riesco a spiegarlo. Perché, dove o come, ma questi sono i fatti».^[15]

I Contain Multitudes è eseguita nella tonalità di Do maggiore.^[16] I critici hanno notato al momento dell'uscita del singolo che c'è una certa continuità quando viene ascoltato insieme al precedente singolo di Dylan, Murder Most Foul, eseguito nella stessa tonalità (e che Rough and Rowdy Ways ha una struttura circolare se ascoltato ripetutamente poiché sono rispettivamente la prima e l'ultima traccia dell'album).^[17] In tutto, ci sono sei strofe e due bridge, gli ultimi dei quali sono, secondo Robert Dye di American Songwriter, "cantati durante un walkdown discendente in sei minori, in contrasto con l'atmosfera sognante dei versi e creando tensione".^[18]

La canzone ha un tempo lento e un arrangiamento scarno con più chitarre acustiche, una pedal steel guitar e un contrabbasso suonato con l'archetto. È degna di nota per essere l'unica canzone di Rough and Rowdy Ways a non includere percussioni.^[19] Simile a Murder Most Foul è anche la performance vocale di Dylan, che Tony Attwood descrive come "[camminare] sulla linea sottile tra parlare e cantare".^[20]