Urodził się w Ameryce w rodzinie robotniczej, tam spędził pierwsze lata swego życia i odebrał wykształcenie, ale większość swojego dorosłego życia spędził we Francji. Jego prawdziwe nazwisko brzmi Albert DuAime, a przodkowie przybyli do Ameryki właśnie z Francji. W 1943 r. ukończył Upper Darby High School. W czasie II wojny światowej zgłosił się ochotniczo do armii amerykańskiej i walczył na terenie Europy. W czasie ofensywy w Ardenach odniósł rany i został wysłany do Ameryki. Do końca życia nie odzyskał pełnej sprawności. Renta inwalidzka pozwoliła mu na podjęcie [>>] studiów – ukończył wydział sztuk pięknych na University of California, Los Angeles, zdobył także doktorat z psychologii. Potem uczył w szkołach w Kalifornii.
W 1960 rodzina Whartona przeniosła się do Europy, chcąc uchronić dzieci przed zgubnym wpływem amerykańskiej popkultury, a zwłaszcza telewizji. Przez lata mieszkał w Paryżu, utrzymując się z malowania obrazów oraz wynajmowania remontowanych przez siebie mieszkań w paryskich kamienicach. Wydarzenia te opisał w powieściach Spóźnieni kochankowie oraz Werniks.
W latach 60. domem rodziny Whartonów stała się barka mieszkalna na Sekwanie, a od lat 70. także stary młyn w Burgundii. Te wydarzenia z kolei znalazły swe odbicie w książkach Dom na Sekwanie oraz Opowieści z Moulin du Bruit i Wieści. Poza tym rodzina du Aime mieszkała przejściowo w południowych Niemczech, Włoszech i Hiszpanii; niekiedy wracali do Stanów Zjednoczonych.
W 1988 córka, zięć i dwoje wnucząt pisarza zginęli w wypadku samochodowym podczas karambolu na autostradzie międzystanowej nr 5 w stanie Oregon, powstałego na skutek zadymienia spowodowanego wypalaniem pól. Sześć lat później Wharton napisał książkę o wypadku i o jego ofiarach Niezawinione śmierci. Wtedy postanowił także walczyć o wstrzymanie tego powszechnego w USA procederu. Podporządkował temu celowi kolejne lata życia i zintensyfikował twórczość pisarską, uzyskane w ten sposób środki przeznaczając na realizację swych zamiarów.
Zmarł w Encinitas w stanie Kalifornia wskutek infekcji podczas pobytu w szpitalu, gdzie znalazł się z powodu problemów z ciśnieniem.
