“ In moralischer und religiöser Hinsicht und sogar als grobe politische Inkonsistenz mit all unseren prahlerischen Institutionen, der Freiheit und so weiter „, schrieb Louisa 1820 an ihren Schwiegervater John Adams während der Debatte darüber, ob Missouri ohne Einschränkungen der Sklaverei in die Union eintreten könne, „Es ist ein so greifbarer Fleck, dass der allerbeste Dummkopf es sehen und verstehen kann.“ Ihr Mann ging noch weiter. John Quincy Adams war einer von nur zwei Präsidenten im ersten halben Jahrhundert der Nation, die keine Sklaven besaßen — die Sprache des Besitzes ist unausweichlich —; Der andere war sein Vater, John. (Sie waren auch die einzigen, die nicht aus Virginia kamen.) John Quincy war kein Abolitionist, und er gehörte nicht zu den ersten Führern der Anti-Sklaverei-Bewegung. Als Präsident schwieg er zu diesem Thema. Aber als Vertreter von Massachusetts nach seiner Präsidentschaft, John Quincy würde im Kongress kämpfen, um die Sklaverei zu begrenzen, trotz Drohungen gegen sein Leben und die Desertion seiner Verbündeten, und er prangerte es bis zu seinem Tod an. Bereits 1820, lange bevor er öffentlich Stellung nahm, stellte er privat die Aussicht auf eine neue Union, die auf dem Prinzip der „totalen Abschaffung“ beruhte.“ „Ein Leben, das ihm gewidmet ist, würde edel ausgegeben oder geopfert“, schrieb er in sein Tagebuch.
Aber das wirkliche Leben war wie immer komplizierter. Die Volkszählungsaufzeichnungen für das gleiche Jahr, 1820, zeigen eine Sklavin unter vierzehn Jahren, die in der Adams-Residenz lebt. Der Sklave gehörte mit ziemlicher Sicherheit nicht John Quincy. „Ich verabscheute die Sklaverei“, sagte er später zu einem Abolitionisten und „litt nicht darunter in meiner Familie“ — und er war keiner, der lügte. Aber er war ein Mensch, und er lebte in Washington, und wie jeder Politiker in Washington — sogar einer, dessen Losung Integrität war – machte er Kompromisse. Er und Louisa haben sie vielleicht von ihren Besitzern gemietet und ihr (und vielleicht ihrem Besitzer) Löhne gezahlt, eine gängige Praxis in Washington zu dieser Zeit und etwas, von dem wir wissen, dass die Adamses es später taten. Oder sie gehörte einem Mitglied der Großfamilie, das häufig bei ihnen lebte, manchmal für längere Zeit — höchstwahrscheinlich eine von Louisas Nichten oder Neffen. Louisas Vater, Joshua Johnson, war ein Südstaatler. Die Johnsons, einschließlich der Familien von Louisas Schwestern — ihren engsten Freunden — besaßen Sklaven.
Eine Möglichkeit ist, dass der Sklave eine junge Frau namens Rachel Clark war. Im Jahr 1816, nachdem Louisas Nichte Mary im Alter von zehn Jahren verwaist war, erbte Mary Aktien und „Bargeld, Möbel und Neger.“ Kurz darauf ging sie zu John Quincy und Louisa. Es ist nicht bekannt, was mit den Sklaven passiert ist, aber Mary hat vielleicht einen mitgebracht. Im Süden war es üblich, dass ein wohlhabendes weißes Mädchen einen Haussklaven in ihrem Alter „gab“; Es wurde gedacht, um die Loyalität des Sklaven zu kultivieren. Wir wissen, dass Mary eine Sklavin namens Rachel Clark hatte, weil Mary sie 1828 — gegen Ende der Amtszeit von John Quincy Adams als Präsident, nachdem Mary zehn Jahre lang mit ihm und Louisa zusammengelebt hatte, auch im Weißen Haus — freigelassen hatte. Sie tat es am selben Tag, an dem sie Louisa und John Quincys Sohn heiratete.
Weder Louisa noch John Quincy haben jemals Rachel Clarks Manumission in einem erhaltenen Tagebuch oder Brief erwähnt. Die einzige Aufzeichnung, die wir davon haben, stammt von dem Angestellten, der es aufgenommen hat. In seinem Tagebuch zeichnete John Quincy sehr detailliert auf, was an diesem Tag der Hochzeit noch passiert war: sein Spaziergang bei Tagesanbruch, sein Sitzen für ein Porträt, seine Besucher, seine Aufgaben und der Name der etwa zwanzig Freunde und Familie, die sich im Weißen Haus versammelten, um die Hochzeit mitzuerleben. „Die Diener der Familie waren ebenfalls alle anwesend“, schrieb er. Er sagt nicht, ob „die Diener“ Rachel Clark enthalten.