«Desde un punto de vista moral y religioso, e incluso como una gran inconsistencia política con todas nuestras instituciones alardeadas, la libertad, etc.,» Louisa escribió a su suegro, John Adams, en 1820, durante el debate sobre si Missouri podría entrar en la Unión sin restricciones a la esclavitud, «es una mancha tan palpable que el más tonto puede verla y entenderla.»Su marido fue más lejos. John Quincy Adams fue uno de los dos únicos presidentes en el primer medio siglo de la nación que no tuvo esclavos—el idioma de posesión es ineludible—; el otro fue su padre, John. (También fueron los únicos dos que no vinieron de Virginia. John Quincy no fue abolicionista, y no fue uno de los primeros líderes del movimiento antiesclavista. Como presidente, se mantuvo callado sobre el tema. Pero como representante de Massachusetts después de su presidencia, John Quincy lucharía en el Congreso para limitar la esclavitud, a pesar de las amenazas contra su vida y la deserción de sus aliados, y lo denunció hasta el momento en que murió. Ya en 1820, mucho antes de tomar una posición pública, planteó en privado la perspectiva de una nueva unión fundada en el principio de «abolición total».»»Una vida dedicada a ella sería noblemente gastada o sacrificada», escribió en su diario.
Pero la vida real, como siempre, era más complicada. Los registros del censo de ese mismo año, 1820, muestran a una esclava menor de catorce años viviendo en la residencia Adams. Es casi seguro que el esclavo no era propiedad de John Quincy. «Aborrecí la esclavitud», le dijo más tarde a un abolicionista, y»no la sufrí en mi familia», y no era de los que mentían. Pero era humano, y vivía en Washington, y, como todo político en Washington, incluso uno cuya consigna era la integridad, hizo concesiones. Él y Louisa pueden haberla alquilado a sus dueños y pagarle a ella (y, tal vez, a su dueño) salarios, una práctica común en Washington en ese momento y algo que sabemos que los Adamses hicieron más tarde. O puede haber sido propiedad de un miembro de la familia extensa que vivió con frecuencia con ellos, a veces durante largos períodos de tiempo, muy probablemente una de las sobrinas o sobrinos de Louisa. El padre de Louisa, Joshua Johnson, era sureño. Los Johnson, incluidas las familias de las hermanas de Louisa, sus amigos más cercanos, eran dueños de esclavos.
Una posibilidad es que la esclava fuera una joven llamada Rachel Clark. En 1816, después de que la sobrina de Louisa, Mary, quedara huérfana, a la edad de diez años, María heredó acciones y «dinero en efectivo, muebles y negros». Poco después, se fue a vivir con John Quincy y Louisa. No se sabe qué pasó con los esclavos, pero María pudo haber traído uno con ella. En el Sur, era común que a una niña blanca adinerada se le «diera» un esclavo doméstico de su edad; se pensaba que cultivaba la lealtad del esclavo. Sabemos que Mary tenía una esclava llamada Rachel Clark porque en 1828, cerca del final del mandato de John Quincy Adams como Presidente, después de que Mary hubiera vivido con él y Louisa durante diez años, incluso en la Casa Blanca, Mary la liberó. Lo hizo el mismo día que se casó con Louisa y el hijo de John Quincy.
Ni Louisa ni John Quincy mencionaron la manumisión de Rachel Clark en ningún diario o carta existente. El único registro que tenemos de él es del empleado que lo grabó. En su diario, John Quincy registró con gran detalle qué más sucedió ese día de la boda: su paseo al amanecer, su asiento para un retrato, sus visitas, sus tareas y el nombre de una veintena de amigos y familiares que se reunieron en la Casa Blanca para presenciar el matrimonio. «Los sirvientes de la familia también estaban presentes», escribió. No dice si» los sirvientes » incluía a Rachel Clark.