Родился в Санкт-Петербурге в 1810 году. Сын дипломата, поэта, любителя литературы и театра князя Григория Ивановича Гагарина и Екатерины Петровны, урожденной Саймоновой. До тринадцатилетнего возраста жил с родителями в Париже и Риме. Учился в колледже Птоломео в Сиене.
С 1829 года служил актуариус при посольстве в Париже. Посещал лекции в Парижском университете. С 1830 по 1832 год путешествовал по Италии и Западной Европе. В 1832 году возвратился в Россию и поступил на службу в Азиатский департамент Коллегии иностранных дел. С 1833 года – камергер. В следующем году работал в Константинополе в русском посольстве, затем в Мюнхене.
В 1839 году принял участие в военной кампании против горцев на Кавказе, где сделал множество рисунков, частью изданных в альбоме «Живописный Кавказ 1857 года». Служил в миссии сенатора в качестве чиновника по особым поручениям. На Кавказе сблизился с М.Ю. Лермонтовым. Изучал быт и искусство народов Кавказа.
В 1843 году вернулся в Петербург в чине флигель-адъютанта
В 1844 году вновь отправился в заграничное путешествие залечивать душевные раны, тяжело переживая смерть первой жены.
В 1847-1855 годах путешествовал по Кавказу, где познакомился с семьями Чавчавадзе, Орбелиани, Дадиани и др. В Тифлисе возглавил строительство театра, являясь так же автором его росписи и лепнины. Занимался реставрацией фресок и построил несколько храмов в русско-византийском стиле.
В 1850 году участвовал в военных действиях, и за отличие произведен в полковники. В 1858 году – в генерал-майоры.
В 1859-1869 годах – вице-президент Академии художеств, где служил до 1872 года. На этой должности организовал музей древнерусского искусства, ввел в программу обучения курс православного иконописания.
В 1864 году Гагарин получил чин тайного советника. Действительный член Русского Археологического общества. Был хорошо знаком с А.С. Пушкиным, для которого выполнял рисунки к его произведениям. Всю жизнь имел страсть к путешествиям
Был женат дважды: первый раз с 1843 года на княжне Анне Николаевне Долгоруковой, которая через год после свадьбы скончалась при родах, оставив Гагарину дочь Екатерину. Второй – с 1847 года – на фрейлине Софье Андреевне Дашковой. От второго брака имел нескольких сыновей, в том числе Андрея – основателя Политехнического института в Петербурге
В 1858 году Григорий Григорьевич Гагарин становится владельцем имения Карачарово. При его непосредственном участии в Карачарово появились:
обширный парк с более чем 50 аллеями,созданный по типу по типу Лондонского Гайд-парка
школа при церкви,открытая в 1860 году
каменная церковь в селе Сучки ,построенная в 1877 году
Сохранился дом, в котором жила семья Гагариных, двухэтажный, построенный в стиле итальянской виллы. На нем мемориальная доска, посвященная памяти художника.
Сохранился и грот, по форме напоминающий любимую собаку семьи Поли, погибшую в борьбе с соколом и надпись: "Преданность ее была безграничной"
Умер Григорий Григорьевич Гагарин во Франции, но завещал похоронить себя в имении Карачарово. Его последняя воля была исполнена. Дети похоронили его на кладбище близ села Сучок. Но его праху не суждено было спокойно покоиться на родине. В 1932 г. кладбище попало под затопление при строительстве Московского моря. Могила Г.Г. Гагарина была перенесена на окраину Карачаровского парка
