Avec peu de chances de participer à la politique de l’électorat de Saxe ou de recevoir des terres de son frère aîné Frédéric-Auguste III, Anton vivait dans l’ombre. Aucun électeur de Saxe après Johann Georg I n’a donné d’appanages à ses fils cadets.
Pendant les premières années du règne de son frère aîné en tant qu’électeur, Antoine était le troisième en ligne, précédé seulement par son frère aîné Charles. La mort de Charles (8 septembre 1781) fait de lui le prochain prince héritier de l’Électorat (de: Kronprinz); en effet, toutes les grossesses de l’électrice Amalie, à l’exception d’une fille, se sont terminées par une mortinaissance.
Sa tante, la Dauphine de France, avait voulu engager sa fille Marie Zéphyrine de France auprès d’Antoine ; Marie Zéphyrine mourut en 1755 abandonnant ses projets. Une autre candidate française était la sœur de Marie Zéphyrine, Marie Clothilde (plus tard reine de Sardaigne), mais encore une fois rien ne s’est passé.
À Turin le 29 septembre 1781 (par procuration) et de nouveau à Dresde le 24 octobre 1781 (en personne), Antoine se marie d’abord avec la Princesse Marie-Caroline de Savoie, fille du roi Victor-Amédée III de Sardaigne et de Marie-Antoniette d’Espagne. Caroline mourut après seulement un an de mariage, le 28 décembre 1782, ayant succombé à la variole. Ils n’avaient pas d’enfants.
À Florence le 8 septembre 1787 (par procuration) et de nouveau à Dresde le 18 octobre 1787 (en personne), Antoine épouse en secondes noces l’archiduchesse Marie-Thérèse d’Autriche (Marie-Thérèse Josèphe Charlotte Johanna), fille du Grand-duc Léopold Ier de Toscane, futur empereur Léopold II. L’opéra Don Giovanni de Mozart devait à l’origine être joué en l’honneur de son épouse pour une visite à Prague le 14 octobre 1787, alors qu’elle voyageait entre Vienne et Dresde pour la cérémonie en personne, et des livrets ont été imprimés avec mention des noms d’Anton et de l’archiduchesse. La première n’a cependant pas pu être arrangée à temps, de sorte que l’opéra Le Mariage de Figaro a été remplacé sur ordre exprès de l’oncle de la mariée, l’empereur Joseph II. Le choix du mariage de Figaro a été considéré comme inapproprié pour une nouvelle épouse par de nombreux observateurs, et l’archiduchesse a quitté le théâtre d’opéra tôt sans voir l’ensemble du travail exécuté. Mozart se plaignit amèrement des intrigues entourant cet incident dans une lettre à son ami Gottfried von Jacquin, écrite par étapes entre le 15 octobre et le 25 octobre 1787. Anthony était présent à Prague en septembre 1791 pour la première représentation de l’opéra de Mozart La clemenza di Tito, écrit dans le cadre des cérémonies de couronnement de son beau-père, l’empereur Léopold II, en tant que roi de Bohême.
Le couple a eu quatre enfants, mais aucun n’a survécu jusqu’à l’âge de deux ans:
- Maria Ludovika Auguste Fredericka Therese Franziska Johanna Aloysia Nepomucena Ignatia Anna Josepha Xaveria Franziska de Paula Barbara (Dresde, 14 mars 1795 – Dresde, 25 avril 1796)
- Frederick Augustus (b. et d. Dresde, 5 avril 1796)
- Maria Johanna Ludovica Anna Amalia Nepomucena Aloysia Ignatia Xaveria Josepha Franziska de Chantal Eva Apollonia Magdalena Crescentia Vincentia (née Dresde, 5 avril 1798 – décédée Dresde, 30 octobre 1799)
- Maria Theresia (née et décédée Dresde, 15 octobre 1799)
L’électrice Amalie a donné naissance pour la dernière fois en 1797 à un autre enfant mort-né. Après cela, il est devenu évident qu’Anthony succéderait à l’électorat de Saxe, qui a été élevé au rang de royaume en 1806.