Гагарин был одной из главных фигур в сельском хозяйстве России в XIX веке
Князь Гагарин большую часть своего времени посвящал сельскому хозяйству. Он был одним из основателей Московского общества сельского хозяйства, в котором с 1823 года занимал должность вице-президента, с 1844 года — президента, с 1860 года — почетного президента; помещал статьи в изданиях общества.
С 1818 года Гагарин был владельцем имения Ясенево, в церкви которой 9 июля 1822 года состоялось венчание Марии Николаевны Волконской и подполковника Николая Ильича Толстого — родителей писателя Льва Толстого. Как образцовый хозяин, смело вносивший в практику земледелия новые агротехнические приёмы С. И. Гагарин ввёл в Ясеневе плодопеременную систему разбивки садов, что позволило повысить их урожайность, и устроил образцовую ферму для разведения тонкорунных овец.