koska hänellä ei ollut juurikaan mahdollisuuksia osallistua Saksin vaaliruhtinaskunnan politiikkaan tai saada yhtään maata vanhemmalta veljeltään Fredrik Augustus III: lta, hän eli varjoissa. Ei Saksin Vaaliruhtinasta Johann Georg I: n annettua appanageja nuoremmille pojilleen.
isoveljensä vaaliruhtinaan valtakauden ensimmäisinä vuosina Anthony oli kolmas, edellään vain isoveli Charles. Kaarlen kuolema (8. syyskuuta 1781) teki hänestä vaalipiiristä kruununprinssin (de: Kronprinz); tämä johtui siitä, että valitun Amalien kaikki raskaudet yhtä tytärtä lukuun ottamatta päättyivät kuolleena syntymiseen.
hänen tätinsä, Ranskan Dauphine, oli halunnut luovuttaa tyttärensä Marie Zéphyrinen Ranskan Anthonylle; Marie Zéphyrine kuoli vuonna 1755 luopuen suunnitelmista. Toinen ranskalainen ehdokas oli Marie Zéphyrinen sisar Marie Clothilde (myöhemmin Sardinian kuningatar), mutta taaskaan mitään ei tapahtunut.
Torinossa 29.syyskuuta 1781 (valtakirjalla) ja Dresdenissä 24. lokakuuta 1781 (henkilökohtaisesti) Anthony avioitui ensin Savoijin prinsessan Maria Carolinan kanssa, joka oli Sardinian kuninkaan Victor Amadeus III: n ja Espanjan Maria Antoniettan tytär. Caroline kuoli sen jälkeen, kun vain yhden vuoden avioliiton, 28 päivänä joulukuuta 1782 ottaa sortunut isorokko. Heillä ei ollut lapsia.
Firenzessä 8.syyskuuta 1787 (valtakirjalla) ja Dresdenissä 18. lokakuuta 1787 (henkilökohtaisesti) Anthony solmi toisen avioliittonsa Itävallan arkkiherttuan Maria Theresian (Maria Theresia Josephe Charlotte Johanna) kanssa, joka oli Toscanan suurherttua Leopold I: n, myöhemmin keisari Leopold II: n tytär. Mozartin ooppera Don Giovanni oli alun perin tarkoitus esittää morsiamensa kunniaksi Prahan vierailulla 14.lokakuuta 1787, kun hän matkusti Wienin ja Dresdenin välillä henkilökohtaista seremoniaa varten, ja librettoihin oli painettu maininta sekä Antonin että arkkiherttuan nimistä. Ensi-iltaa ei kuitenkaan ehditty järjestää ajoissa, joten ooppera Figaron häät korvattiin morsiamen sedän, keisari Joosef II: n nimenomaisesta käskystä. Monet tarkkailijat pitivät Figaron Vihkivalintaa sopimattomana uudelle morsiamelle,ja arkkiherttuatar poistui oopperateatterista etuajassa näkemättä koko teosta. Mozart valitti katkerasti tähän tapaukseen liittyvistä juonitteluista kirjeessään ystävälleen Gottfried von Jacquinille, joka oli kirjoitettu vaiheittain 15.lokakuuta-25. lokakuuta 1787. Anthony oli läsnä Prahassa syyskuussa 1791 Mozartin oopperan ”La clemenza di Tito” kantaesityksessä, joka oli kirjoitettu osana hänen appensa, keisari Leopold II: n kruunajaisseremonioita Böömin kuninkaana.
pari sai neljä lasta, mutta kukaan ei selvinnyt kaksivuotiaaksi:
- Maria Ludovika Auguste Fredericka Therese Franziska Johanna Aloysia Nepomucena Ignatia Anna Josepha Xaveria Franziska de Paula Barbara (s. Dresden, 14. maaliskuuta 1795 – K. Dresden, 25. huhtikuuta 1796)
- Fredrik Augustus (s. Dresden, 5. huhtikuuta 1796)
- Maria Johanna Ludovica Anna Amalia Nepomucena Aloysia Ignatia Xaveria Josepha Franziska de Chantal Eva Apollonia Magdalena Crescentia Vincentia (s. Dresden, 5. huhtikuuta 1798 – Dresden, 30. lokakuuta 1799)
- Maria Theresia (s. Dresden, 15. 1799)
Amalie synnytti viimeisen kerran vuonna 1797 toisen kuolleena syntyneen lapsen. Tämän jälkeen kävi ilmeiseksi, että Anthony menestyisi Saksin Vaaliruhtinaskunnassa, joka korotettiin kuningaskunnaksi vuonna 1806.
