40 pokoj zámek byl postaven v roce 1888 Gottfried Krueger (1837-1926), zakladatel Newark Gottfried Krueger Brewing Company a majitel několika dalších pivovarů. Náklady na stavbu tehdy činily 250 000 dolarů. Zámek byl v roce 1926 prodán do údolí Newark Scottish Rite Freemasons za 100 000 dolarů. K zámku bylo přidáno 700 místné hlediště, které bylo možné ubytovat pro různá setkání. Zámek koupil v roce 1958 Louise Scott za 85 000 dolarů. Scott provozoval kosmetickou školu z prvního patra zámku a zároveň udržoval horní úrovně jako své soukromé bydliště. Zámek byl přidán do New Jersey Register of Historic Places a National Register of Historic places v 1972. Scott zemřel v roce 1982 a vlastnictví zámku přešlo na město Newark. V roce 1991 financoval New Jersey Historic Trust dluhopis za 625 812 $na stabilizaci exteriéru budovy. Město Newark tuto částku vyrovnalo a v průběhu let věnovalo více než 4 miliony dolarů přeměně domu na centrum zaměřené na černý příspěvek k rozvoji Newarku. Federální vláda přispěla dalšími 1,5 miliony dolarů. po deseti letech práce však plány na přeměnu domu na afroamerické Kulturní centrum zmrazila městská rada města, která odmítla na projekt vyčlenit další peníze.
