Das Herrenhaus mit 40 Zimmern wurde 1888 von Gottfried Krueger (1837-1926), Gründer der Gottfried Krueger Brewing Company in Newark und Eigentümer mehrerer anderer Brauereien, erbaut. Die Baukosten betrugen damals 250.000 US-Dollar. Das Herrenhaus wurde 1926 für 100.000 US-Dollar an das Valley of Newark Scottish Rite Freemasons verkauft. Ein Auditorium mit 700 Sitzplätzen wurde dem Herrenhaus hinzugefügt, um verschiedene Besprechungen unterzubringen. Das Herrenhaus wurde 1958 von Louise Scott für 85.000 Dollar gekauft. Scott betrieb eine Schönheitsschule im ersten Stock des Herrenhauses, während sie die oberen Ebenen als ihren privaten Wohnsitz behielt. Das Herrenhaus wurde 1972 in das New Jersey Register of Historic Places und das National Register of Historic Places aufgenommen. Scott starb 1982 und das Eigentum an der Villa ging an die Stadt Newark über. 1991 finanzierte der New Jersey Historic Trust eine Anleihe in Höhe von 625.812 US-Dollar, um das Äußere des Gebäudes zu stabilisieren. Die Stadt Newark entsprach diesem Betrag und widmete im Laufe der Jahre mehr als 4 Millionen US-Dollar, um das Haus in ein Zentrum zu verwandeln, das sich auf den schwarzen Beitrag zur Entwicklung von Newark konzentriert. Die Bundesregierung steuerte weitere 1,5 Millionen Dollar bei., aber nach einem Jahrzehnt der Arbeit wurden Pläne, das Haus in ein afroamerikanisches Kulturzentrum zu verwandeln, vom Stadtrat der Stadt eingefroren, der sich weigerte, mehr Geld für das Projekt bereitzustellen.
