Né à Roxbury, Massachusetts, la famille de Gaffney déménage à Worcester à l’âge de 11 ans. Il commence à jouer au baseball comme joueur de troisième but, mais sa carrière prometteuse prend fin lorsqu’il se blesse au bras en lançant une boule de neige en 1880, juste avant d’être promu dans la Ligue nationale. Il devient imprimeur et commence à arbitrer des matchs universitaires impliquant des équipes voisines de l’Ivy League en 1883.
Il rejoint le personnel d’arbitres de la Ligue nationale en août 1884, son premier match étant un match de 11 manches, 1-0 entre les deux équipes qui se battent pour la première place, Providence et Boston. Il a rapidement gagné un large respect en tant que meilleur arbitre et meilleur juge de balles et de frappes de la ligue. Au milieu de sa troisième saison, sa connaissance du jeu est si appréciée qu’on lui offre le poste de gérant des Nationals de Washington, et il prend la direction de l’équipe le 21 août 1886. L’équipe, embourbée à la dernière place, termine le dernier tiers de la saison sans améliorer sa position ; mais Gaffney reste en poste pendant toute la campagne de 1887, avec une légère amélioration à la 7e place. Il termine sa carrière de gérant avec 61 victoires contre 101 défaites. Il était très apprécié des joueurs, et alors qu’il voyageait pendant la série de championnat du monde 1887, ses joueurs – dont le receveur Connie Mack et le futur arbitre Hank O’Day – sont montés dans son train lors d’une escale à Washington et l’ont surpris avec le cadeau d’une bague en diamant en remerciement de ses efforts.
Dans les années 1880, le baseball avait toujours été joué avec l’utilisation d’un seul arbitre, mais à la fin de la décennie, il devenait évident qu’il s’agissait d’un arrangement insatisfaisant pour les matchs les plus importants. La Série de Championnat du monde de 1886 avait vu une expérience de deux matchs dans laquelle chaque équipe sélectionnait un arbitre – tous deux positionnés derrière le receveur – avec un troisième officiel, appelé arbitre, positionné derrière le lanceur et capable de se déplacer sur les bases. Cependant, l’arbitre n’était autorisé à faire des appels que lorsque les deux arbitres étaient en désaccord ou demandaient sa décision; ce système a été considéré comme un échec par tous les observateurs. L’année suivante, Gaffney est choisi par les T.-N.-L. comme l’un des deux arbitres de la série de 1887, avec Kick Kelly, qui est considéré comme le meilleur arbitre de l’American Association de 1883 à 1886 avant de diriger l’équipe de Louisville de cette ligue en 1887. Les deux ont élaboré un système selon lequel un arbitre travaillerait derrière la plaque locale, appelant des balles et des frappes, tandis que l’autre se positionnerait sur le terrain pour faire des appels sur les bases. Ce format a connu un succès certain, et même si ce n’est que vers 1910 que deux arbitres par match sont devenus la norme, il a constitué la base des systèmes d’arbitres multiples qui ont suivi. Gaffney arbitre plus tard les séries de championnat de 1888 et 1889, et de nouveau pour trois matchs dans la série de championnat de 1892, pour un total de 37 matchs d’après–saison – un record du 19e siècle.
Après les séries de 1887, Gaffney et Kelly retournent tous deux à l’arbitrage, bien qu’ils changent de ligue dans le processus – Kelly déménage aux Pays-Bas pour la saison 1888, tandis que Gaffney passe à l’American Association pour 1888-1889, où il reçoit un salaire de 2 500 plus plus les frais de route, ce qui fait de lui l’arbitre le mieux payé. Dans l’American Association, Gaffney a été le pionnier de la pratique consistant à passer de derrière le receveur à derrière le lanceur lorsqu’un frappeur atteignait la première base, un mouvement crucial à l’époque des arbitres solitaires. Il a fait d’autres innovations, y compris appeler les balles justes ou mauvaises selon l’endroit où elles ont franchi la clôture plutôt que l’endroit où elles ont atterri, et créer une chemise dans laquelle des balles de baseball supplémentaires pourraient être stockées. Après chaque saison, il a signalé à la ligue des omissions et des insuffisances dans les règles, et bon nombre de ses révisions suggérées ont été promulguées.
Mack, qui était un receveur recrue pour l’équipe de Gaffney en 1887 et plus tard attrapé pendant 5 ans au cours desquels Gaffney a arbitré, l’a décrit comme l’arbitre parfait; la légende de l’arbitrage Bill Klem a noté qu’il était le premier à être largement appelé « Roi des arbitres ».
Gaffney passe à la Players’ League pour sa seule saison en 1890 avant de retourner aux Pays-Bas en septembre 1891. Le stress des arbitres du 19e siècle, lorsque les joueurs et les fans ont fait preuve d’une énorme violence et d’une hostilité envers les arbitres solitaires, a commencé à faire des ravages, cependant, et Gaffney a été libéré par les T.-N.-L. après la saison 1893 en raison de sa consommation croissante d’alcool. Après avoir commencé l’année 1894 dans la Ligue de l’Est, il retourna aux T.-N.-L. à la mi-saison, mais son abus d’alcool continua et il fut de nouveau laissé de côté. Il arbitre à nouveau dans la Ligue de l’Est de 1895 à 1897 avant de revenir à Terre-Neuve-et-Labrador en 1899-1900, rejoignant Tom Lynch pour devenir l’un des deux seuls hommes à arbitrer en 12 saisons dans les ligues majeures au 19e siècle.
Il a arbitré des matchs universitaires près de Worcester après 1900, puis a déménagé à New York, où il a travaillé comme gardien de nuit.
Gaffney meurt dans la pauvreté à l’âge de 58 ans à New York. Après sa mort, Mack organise un match bénéfice à Worcester entre ses Athletics de Philadelphie et les Red Sox de Boston pour payer un monument sur la tombe de Gaffney.
En 1946, Gaffney a été inclus dans les rouleaux d’honneur du baseball.
