Родился в обедневшей дворянской семье. В военную службу записан в 1748 году, в прапорщики произведен в 1757 году, в течение трех лет (1759-1761 г.г.) служил в личной дворцовой охране императрицы Елизаветы Петровны, а в 1762 г. переведен в чине ротмистра в Сибирь, в расквартированные там полевые войска. В 1768 г. Жолобов произведён в секунд-майоры, в 1770 г. - в премьер-майоры. В начале февраля 1774 г. 12-я легкая полевая команда, которой командовал Жолобов, была отозвана с пограничной линии из-под Омска и брошена на подавление повстанческого движения, охватившего западные дистрикты и уезды Сибирской губернии.
В боях, развернувшихся в феврале-марте 1774 года под Шадринском и у других зауральских слобод, Жолобов нанес поражения отрядам пугачевских атаманов М. Ражева и А. Ерусланова. До конца апреля он участвовал в подавлении ряда других очагов повстанческого сопротивления в Зауралье и приграничных районах Оренбургской губернии. В мае его команда была переброшена в центральную часть Исетской провинции, куда после поражения в битве под Троицкой крепостью (21 мая) поспешно отходило войско Е.И. Пугачева. Подполковник И.И. Михельсон в донесениях командованию сетовал на то, что майоры Жолобов и Гагрин уклоняются от помощи ему в преследовании Пугачева и своим бездействием предоставляют пугачевскому войску возможность выхода в Прикамье. До начала осени 1774 г. команда Жолобова располагалась в Челябинске и Чебаркульской крепости, а потом переместилась к Екатеринбургу и Кунгуру, имея главной задачей охрану тех мест от проникновения пугачевских отрядов из Исетской и Уфимской провинций. В 1775 Жолобов был произведен в подполковники, а в 1779 в полковники.