La band si formò a Melbourne nei primi anni novanta, su iniziativa di tre ex-compagni di liceo con la passione per gli Smiths: il chitarrista Marty Donald, il cantante e batterista Tali White, e il bassista Mark Monnone[1]. Il trio nel 1993 iniziò l'attività dal vivo pubblicando il disco di esordio, intitolato ironicamente First Tape (e ristampato nel 2005 con il titolo The Lucksmiths), per la nascente etichetta discografica Candle records.
I due dischi successivi, The Green Bicycle Case del 1995 e What Bird Is That? del 1996 vennero pubblicati sempre dalla Candle Records per il solo mercato nazionale. Il loro esordio sul mercato statunitense è invece del 1997 con il singolo "The Invention of Ordinary Everyday Things" distribuito dalla Drive-In Records a cui seguì lo stesso anno l'album A Good Kind of Nervous. Varcati i confini nazionali, la band si fece conoscere anche in Europa, accompagnando come gruppo spalla i Belle and Sebastian nel loro tour del 1998[1]. Durante il tour la band compose e registrò una serie di brani che vennero poi raccolti nell'album Happy Secret, uscito nel 1999[2]
Alla fine del tour White si stabilì a vivere a Londra, ma questo non influì con l'attività del gruppo che continuò i concerti e pubblicò altri due album, Why That Doesn't Surprise Me del 2001
e Naturaliste del 2003, intervallati da una seconda raccolta di b-sides pubblicata nel 2002 con il titolo Where Were We?. In questo periodo White fu attivo anche in un side-project chiamato The Guild League con cui pubblicò due album. Nel 2004 la band accolse un quarto elemento, il chitarrista Louis Richter con cui registrò il nono album in studio: Warmer Corners. Dopo due anni di silenzio il gruppo pubblicò un doppio cd che raccoglieva b-sides, brani usciti solo in compilation e cover, con il titolo Spring a Leak. Fu il primo album del gruppo ad uscire per la nuova etichetta Matinée, dopo la chiusura della Candle records. Nel 2008 è uscito l'undicesimo album, First Frost a cui ha fatto seguito un lungo tour in Europa e Australia per salutare i fans prima dello scioglimento del gruppo avvenuto nel 2009. L'ultimo tour della band è documentato nel DVDUnfamiliar Stars, uscito nel 2011 per la Matinèe.