Nacido en Roxbury, Massachusetts, la familia de Gaffney se mudó a Worcester cuando tenía 11 años. Comenzó a jugar béisbol como tercera base, pero su prometedora carrera terminó cuando se lesionó el brazo lanzando una bola de nieve en 1880, según se informa, justo antes de ser promovido a la Liga Nacional. Se convirtió en impresor y comenzó a arbitrar juegos universitarios con equipos cercanos de la Ivy League en 1883.
Se unió al equipo de árbitros de la Liga Nacional en agosto de 1884, con su primer juego siendo un juego de 11 entradas, 1-0 entre los dos equipos que luchaban por el primer lugar, Providence y Boston. Rápidamente ganó un amplio respeto como máximo árbitro, y como el mejor juez de pelotas y strikes de la liga. A mediados de su tercera temporada, su conocimiento del juego era tan apreciado que se le ofreció el puesto de gerente de los Nacionales de Washington, y se hizo cargo del equipo el 21 de agosto de 1886. El equipo, sumido en el último lugar, terminó el último tercio de la temporada sin mejorar su posición; pero Gaffney continuó en el puesto durante toda la campaña de 1887, con una ligera mejora al 7º lugar. Terminó su carrera como entrenador con 61 victorias contra 101 derrotas. Era muy querido por los jugadores, y mientras viajaba durante la serie del campeonato mundial de 1887, sus jugadores, incluido el receptor Connie Mack y el futuro gran árbitro Hank O’Day, abordaron su tren durante una escala en Washington y lo sorprendieron con el regalo de un anillo de diamantes en agradecimiento por sus esfuerzos.
En la década de 1880, el béisbol siempre se había jugado con el uso de un solo árbitro, pero a finales de la década se estaba haciendo evidente que este era un arreglo insatisfactorio para los juegos más importantes. La Serie de Campeonatos del Mundo de 1886 había sido testigo de un experimento de dos juegos en el que cada equipo seleccionaba a un árbitro, ambos posicionados detrás del receptor, con un tercer oficial, llamado árbitro, posicionado detrás del lanzador y capaz de moverse por las bases. Sin embargo, al árbitro solo se le permitía hacer llamadas cuando los dos árbitros no estaban de acuerdo o solicitaban su decisión; este sistema fue considerado un fracaso por todos los observadores. Al año siguiente, Gaffney fue seleccionado por la Liga Nacional como uno de los dos árbitros para trabajar en la serie de 1887, junto con Kick Kelly, quien fue considerado como el mejor árbitro de la Asociación Americana de 1883 a 1886 antes de dirigir el equipo de Louisville de esa liga en 1887. Los dos desarrollaron un sistema mediante el cual un árbitro trabajaría detrás del plato de home, llamando bolas y strikes, mientras que el otro se posicionaba en el campo para hacer calls en las bases. Este formato fue un éxito decidido, y aunque no fue hasta casi 1910 que dos árbitros por juego se convirtieron en estándar, formó la base para los múltiples sistemas de árbitros que siguieron. Gaffney más tarde arbitró en la serie de campeonatos de 1888 y 1889, y de nuevo por tres juegos en la serie de campeonatos de la Liga Nacional de 1892, para un total de 37 juegos de postemporada, un récord del siglo XIX.
Después de la serie de 1887, Gaffney y Kelly volvieron a arbitrar, aunque cambiaron de liga en el proceso: Kelly se mudó a la Liga Nacional para la temporada de 1888, mientras que Gaffney se cambió a la Asociación Americana para 1888-89, donde recibió un salario de 2 2,500 más gastos de carretera, lo que lo convirtió fácilmente en el árbitro mejor pagado. En la Asociación Americana, Gaffney fue pionero en la práctica de moverse de detrás del receptor a detrás del lanzador cuando un bateador llegaba a la primera base, un movimiento crucial en los días de los árbitros solitarios. Hizo otras innovaciones, incluyendo llamar a las bolas justas o faltas dependiendo de dónde despejaron la valla en lugar de dónde aterrizaron, y crear una camisa en la que se pudieran almacenar bolas de béisbol adicionales. Después de cada temporada, reportó omisiones e insuficiencias en las reglas a la liga, y muchas de sus revisiones sugeridas fueron promulgadas.
Mack, que fue un receptor novato para el equipo de Gaffney de 1887 y más tarde atrapado durante 5 años en el que Gaffney arbitró, lo describió como el árbitro perfecto; la leyenda del árbitro Bill Klem señaló que fue el primero en ser ampliamente llamado «Rey de los Árbitros».
Gaffney se trasladó a la Liga de Jugadores para su única temporada en 1890 antes de regresar a la Liga Nacional en septiembre de 1891. Sin embargo, el estrés de los árbitros del siglo XIX, cuando los jugadores y los aficionados demostraron un tremendo abuso y hostilidad hacia los árbitros solitarios, comenzó a pasar factura, y Gaffney fue liberado por la Liga Nacional después de la temporada de 1893 debido a su creciente consumo de alcohol. Después de comenzar 1894 en la Liga Oriental, regresó a la Liga Nacional a mitad de temporada, pero su abuso de alcohol continuó y fue despedido de nuevo. Arbitró en la Liga Oriental de nuevo de 1895 a 1897 antes de regresar a la Liga Nacional en 1899-1900, uniéndose a Tom Lynch en convertirse en uno de los dos únicos hombres en arbitrar en 12 temporadas de grandes ligas en el siglo XIX.
Arbitró juegos universitarios cerca de Worcester después de 1900, y más tarde se mudó a la ciudad de Nueva York, donde trabajó como vigilante nocturno.
Gaffney murió en la pobreza a los 58 años en la ciudad de Nueva York. Después de su muerte, Mack organizó un partido benéfico en Worcester entre sus Atléticos de Filadelfia y los Medias Rojas de Boston para pagar un monumento sobre la tumba de Gaffney.
En 1946 Gaffney fue incluido en los Rollos de Honor del Béisbol.
