Деревня Варваровщина находится в Каменском сельском поселении Кардымовского района Смоленской области.
Расположена в 5 километрах к северо-западу от районного центра Кардымова, на береуг реки Хмость.
В годы Великой Отечественной войны деревня была оккупирована гитлеровскими войсками в августе 1941 года, освобождена в сентябре 1943 года.
В 2007 году население составляло 239 человек.