Ему было десять, когда умерла его мать, ирландка Дженни О’Рейли, в которую его отец влюбился во время путешествия по Европе и женился на ней против воли своих родителей; отец умер, когда ему было пятнадцать. И он остался владельцем сотен душ, дворца в Остафьеве и денег немеряных. Вряд ли он их считал и знал, сколько у него. Его отец давал балы на двести человек, он давал обеды на сорок. Фонтаны, хоры цыган, медведи на цепях и фейерверки ему тоже нравились. О долгах, скоро возникших, он тоже имел приблизительное представление — к тридцати годам задолжал разным людям и казне примерно полмиллиона рублей. Так жил князь Пётр Андреевич Вяземский.
На портрете художника Петра Соколова мы видим князя в блеске и очаровании его молодых лет — с растрёпанными волосами и густыми бакенбардами, в очках, которые будто намекают на то, что аристократ и барин — большой читатель, а может, и писатель. И то и другое правда, в его дворце в Остафьеве большая библиотека (собрана отцом), которую он пополняет, выписывая книги из Европы. А что касается сочинительства, то сладость и боль этого труда он узнал с ранних лет, со времени первых своих стихотворений.
Поэзия! Она покоряла его душу, особенно стихи Державина, которого он чуть ли не всего знал наизусть. Стихи, в них волшебство русского языка, который гибок и певуч, и насквозь пронизан рифмами. Отец Вяземского хотел, чтобы он занимался математикой для укрепления дисциплины и ума, но математика ему претила, поэзия влекла.