I Pirates divennero membri dell'American Association nel 1882. Prima del 1900 ebbero diversi campi da gioco ad Allegheny City, centro allora separato, e situato, rispetto a Pittsburgh, oltre il fiume Allegheny. La squadra è riportata nelle classifiche dell'epoca come "Allegheny" o, talvolta, come "Alleghenys" (non "Alleghenies"), secondo l'usanza del giornalismo sportivo di quel periodo di scrivere i nomi delle squadre di, per esempio, Boston, New York o Chicago, come "Bostons", "New Yorks" o "Chicagos".
La società si spostò nella National League nel 1887. Già nel 1890 la squadra aveva mutato il proprio nome in "Pittsburgh" ("Pittsburgh Innocents"), anche se la città di Allegheny si unì a quella di Pittsburgh solo nel 1907.
Dopo che la ribellione dei giocatori, durata un anno e nota come Players League, fu terminata (dopo la stagione 1890), la maggior parte dei giocatori venne assegnata alle squadre delle due leghe (National League e American Association), per lo più ai loro precedenti club, a patto che i giocatori fossero stati "riservati" dai proprietari delle loro precedenti squadre. Il noto interbaseLou Bierbauer, che aveva giocato nei Philadelphia Athletics dell'American Association, venne assegnato alla squadra di Pittsburgh, anche se gli Athletics non avevano "riservato" Bierbauer a loro. Questo incidente causò diverse lamentele da parte degli Athletics, che affermarono che i pittsburghesi erano "pirati" (Pirates). L'incidente, tra l'altro, di fatto accelerò lo scisma tra le due leghe, una divisione che avrebbe portato all'estinzione dell'American Association. Il colorito epiteto di "pirati" si legò presto alla squadra di Pittsburgh, che, alla fine, decise di assumere ufficialmente quel nome. Lo ritroviamo sulle divise per la prima volta nel 1912, nonostante già nelle World Series del 1903, il termine Pirates per designare la squadra fosse già largamente usato.
Il baseball professionistico arrivò a Pittsburgh nel 1876. Le società di quell'epoca erano "indipendenti", itineranti e non affiliate ad alcuna lega, pur essendo organizzate dal punto di vista economico, tanto da retribuire degli stipendi ai propri giocatori. Nel 1882 la squadra di baseball della città si iscrisse, tra i membri fondatori, all'American Association. Dopo cinque stagioni piuttosto mediocri il team di Pittsburgh divenne il primo della A.A. ad "emigrare" nella National League (1887).
In quei primi anni la società trasse beneficio da tre diverse fusioni con altrettante squadre. Nel 1885 arrivò un buon numero di giocatori dai Buckeyes di Columbus, in Ohio. Nel 1890 si fusero con la corrispettiva franchigia di Players League (i Pittsburgh Burghers), dopo che tale lega era fallita. In quella stessa stagione fu registrato il peggiore record nelle storia della franchigia, con 23-113. Nel 1900 i Pirates presero diversi giocatori dai Louisville Colonels, squadra che si era appena sciolta, dal momento che la National League aveva deciso di ridurre il numero delle proprie squadre da 12 a 8 per la stagione 1899.
Guidati in campo da due ex colonnelli, Honus Wagner, originario della zona, e Fred Clarke (anche allenatore), i Pirates dominarono la National League tra il 1901 e il 1903, aiutati anche dal fatto che pochi giocatori della loro squadra si erano trasferiti in American League. Comunque, a causa di numerosi infortuni occorsi ai lanciatori titolari, i Pirates persero la prima World Series moderna di sempre, nel 1903, a favore dei Boston Red Sox. Deacon Phillippe fu il lanciatore per cinque interi match, di cui tre vinti, ma non fu sufficiente. Con quasi tutti gli stessi giocatori del 1901-02-03, i Pirates continuarono ad essere una delle squadre più forti, per diversi anni: nel 1909 arrivò così la prima vittoria nelle World Series, dopo aver battuto i Detroit Tigers in sette gare. Nello stesso anno venne aperto a Pittsburgh il Forbes Field.
Inizialmente i Pirates avevano giocato nel Recreation Park, nell'Union Park e nell'Exposition Park, tutti situati nell'allora Allegheny City. Allegheny City venne inglobata da Pittsburgh nel dicembre 1907. I Pirates giocarono però la loro prima gara di MLB a Pittsburgh soltanto nel 1908 – ben 25 anni dopo la fondazione.
Con il declino di Honus Wagner, considerato da molti il più grande interbase di sempre, i Pirates vissero molte stagioni negative, culminate nel 1917 con un record di 51 vittorie e 103 sconfitte. Ciononostante, il veterano esterno Max Carey e i giovani Pie Traynor e Kiki Cuyler, insieme ad un folto gruppo di lanciatori, riportò la squadra alla ribalta. Nelle World Series del 1925 i Pirates, sotto per 3-1 dopo 4 match, rimontarono e andarono a vincere in gara-7 contro i Washington Senators. Due anni dopo, nel 1927, raggiunsero nuovamente le World Series, perdendo però contro i New York Yankees, all'epoca la squadra che dominava in MLB. La stagione 1927 fu la prima con i due fratelli Lloyd e Paul Waner: insieme all'interbaseArky Vaughan furono tra i più importanti giocatori di quella squadra, molti dei quali vennero inclusi nella Hall of Fame. La sconfitta del 1927 fu assai bruciante, così come quella del 1938, in gara-7 contro i Chicago Cubs.
Gli anni immediatamente successivi la Seconda guerra mondiale non furono molto positivi per i Pirates, nonostante la presenza di un asso come Ralph Kiner, primo nella National League per home run realizzati, in sette anni consecutivi (dal 1946 al 1952). La squadra costruita intorno a Kiner si qualificò per i playoff una sola volta — nel 1948 — realizzando nel 1952 uno dei suoi peggiori record nella lega, vincendo 42 partite, perdendone 112 (.273) e chiudendo a 54 partite dal primo posto. Nel 1946 si chiuse il lungo periodo di presidenza della famiglia di Barney Dreyfuss: in quell'anno un consorzio che includeva anche Bing Crosby comprò la squadra. Già prima del 1950 il magnate di ColumbusJohn W. Galbreath era diventato il principale proprietario: la sua famiglia avrebbe tenuto la presidenza per altri 35 anni, portando la squadra ai vertici dell'MLB.
La prima mossa di Galbreath, la scelta di Branch Rickey come general manager, venne inizialmente fortemente disapprovata dai tifosi di Pittsburgh. Rickey aveva dato il via a delle dinastie di campioni sia con i St. Louis Cardinals che con i Los Angeles Dodgers. Una volta a Pittsburgh, però, "alleggerì" il roster da molti veterani con ingaggi elevati (incluso Ralph Kiner, ceduto nel 1953) preferendo affidarsi a giovani giocatori. Molti di questi non ebbero fortuna; nonostante ciò, quelli che ripagarono la fiducia di Rickey — i lanciatori Vern Law e Bob Friend, l'interbaseDick Groat, il seconda base Bill Mazeroski e soprattutto l'esterno Roberto Clemente, preso da Brooklyn dopo una sola stagione in Minor League (1954) — avrebbero formato il nucleo della squadra campione nel 1960. Rickey, insomma, pose le basi per una squadra che sarebbe diventata competitiva sul finire degli anni sessanta. Non si era ancora potuto apprezzare questo lungimirante programma quando lo stesso Rickey si ritirò per problemi di salute nel 1955, con i Pirates ancora impegnati nelle ultime posizioni della National League.
Prima squadra a disputare un match delle World Series in notturna: accadde al Three Rivers Stadium il 13 ottobre 1971, nella gara-4 contro i Baltimore Orioles. Due partite dopo i Pirates avrebbero vinto il loro quarto titolo nazionale.