Nato a Roxbury, Massachusetts, la famiglia di Gaffney si trasferì a Worcester quando aveva 11 anni. Iniziò a giocare a baseball come terza base, ma la sua promettente carriera si concluse quando si infortunò al braccio lanciando una palla di neve nel 1880, poco prima di essere promosso nella National League. Divenne uno stampatore e iniziò ad arbitrare le partite del college che coinvolgevano le vicine squadre della Ivy League nel 1883.
Si unì allo staff arbitrale della National League nell’agosto del 1884, con la sua prima partita da 11 inning, 1-0 tra le due squadre in lotta per il primo posto, Providence e Boston. Ha rapidamente guadagnato ampio rispetto come top officiator, e come miglior giudice della lega di palle e scioperi. Nel bel mezzo della sua terza stagione, la sua conoscenza del gioco è stato così altamente considerato che gli è stato offerto il posto di gestione dei Washington Nationals, e ha assunto la squadra il 21 agosto 1886. La squadra, impantanata all’ultimo posto, terminò l’ultimo terzo della stagione senza migliorare la sua posizione; ma Gaffney continuò nel posto per tutta la campagna 1887, con un leggero miglioramento fino al 7 ° posto. Ha terminato la sua carriera manageriale con 61 vittorie contro 101 sconfitte. Era molto apprezzato dai giocatori, e mentre era in viaggio durante le 1887 world championship series, i suoi giocatori – tra cui il catcher Connie Mack e il futuro arbitro Great Hank O’Day – salirono sul suo treno durante una sosta a Washington e lo sorpresero con il dono di un anello di diamanti in apprezzamento dei suoi sforzi.
Nel 1880, il baseball era sempre stato giocato con l’uso di un singolo arbitro, ma alla fine del decennio stava diventando evidente che questo era un accordo insoddisfacente per le partite più importanti. La World’s Championship Series del 1886 aveva visto un esperimento di due partite in cui ogni squadra selezionava un arbitro-entrambi posizionati dietro il catcher-con un terzo ufficiale, chiamato arbitro, posizionato dietro il lanciatore e in grado di muoversi sulle basi. Tuttavia, l’arbitro era autorizzato a effettuare chiamate solo quando i due arbitri non erano d’accordo o richiedevano la sua decisione; questo sistema è stato considerato un fallimento da tutti gli osservatori. L’anno seguente, Gaffney fu scelto dalla NL come uno dei due arbitri per la serie 1887, insieme a Kick Kelly, che era considerato il miglior arbitro dell’American Association dal 1883 al 1886 prima di gestire la squadra di Louisville di quella lega nel 1887. I due hanno elaborato un sistema in cui un arbitro avrebbe lavorato dietro la piastra di casa, chiamando palle e scioperi, mentre l’altro si è posizionato in campo per effettuare chiamate sulle basi. Questo formato è stato un successo deciso, e anche se non è stato fino a quasi 1910 che due arbitri per partita è diventato standard, ha costituito la base per i sistemi di arbitri multipli che hanno seguito. Gaffney in seguito arbitrò nelle championship series 1888 e 1889, e di nuovo per tre partite nella NL championship series 1892, per un totale di 37 partite postseason – un record del xix secolo.
Dopo la serie del 1887, Gaffney e Kelly tornarono entrambi ad arbitrare, anche se cambiarono campionato nel processo – Kelly si trasferì alla NL per la stagione 1888, mentre Gaffney passò all’American Association per il 1888-89, dove ricevette uno stipendio di $2.500 più spese stradali, rendendolo facilmente l’arbitro più pagato. Nell’American Association, Gaffney ha aperto la strada alla pratica di passare da dietro il ricevitore a dietro il lanciatore quando un battitore ha raggiunto la prima base, una mossa cruciale nei giorni degli arbitri solitari. Ha fatto altre innovazioni, tra cui chiamare le palle giuste o fallo a seconda di dove hanno eliminato la recinzione piuttosto che dove sono atterrati, e creando una maglietta in cui potevano essere memorizzate palle da baseball extra. Dopo ogni stagione, ha riferito omissioni e inadeguatezze nelle regole alla lega, e molte delle sue revisioni suggerite sono state emanate.
Mack, che era un rookie catcher per la squadra di Gaffney 1887 e più tardi catturato per 5 anni in cui Gaffney arbitro, lo ha descritto come l’arbitro perfetto; arbitro leggenda Bill Klem ha notato che è stato il primo ad essere ampiamente chiamato “Re degli arbitri”.
Gaffney si trasferì alla Players’ League per la sua unica stagione nel 1890 prima di tornare alla NL nel settembre 1891. Lo stress dell’arbitro del 19 ° secolo, quando giocatori e tifosi dimostrarono un’enorme abusività e ostilità verso gli arbitri solitari, iniziò a prendere il suo pedaggio, tuttavia, e Gaffney fu rilasciato dalla NL dopo la stagione 1893 a causa del suo crescente consumo di alcol. Dopo aver iniziato 1894 nella Eastern League, è tornato alla NL a metà stagione, ma il suo abuso di alcol ha continuato ed è stato di nuovo lasciato andare. Ha arbitrato di nuovo nella Eastern League dal 1895 al 1897 prima di tornare alla NL nel 1899-1900, unendosi a Tom Lynch nel diventare uno dei soli due uomini ad arbitrare in 12 stagioni della major league nel 19 ° secolo.
Dopo il 1900 arbitrò le partite del college nei pressi di Worcester, per poi trasferirsi a New York, dove lavorò come guardiano notturno.
Gaffney morì in povertà all’età di 58 anni a New York. Dopo la sua morte, Mack organizzò una partita benefica a Worcester tra i suoi Philadelphia Athletics e i Boston Red Sox per pagare un monumento sulla tomba di Gaffney.
Nel 1946 Gaffney fu incluso nei rotoli d’onore del Baseball.