Родился 9 (21) декабря 1896 в г. Великие Луки Псковской губернии в семье железнодорожного машиниста. Образование получил на курсах усовершенствования комсостава кавалерии (1925) и курсах усовершенствования комсостава при Военной академии имени Фрунзе (1929). В 1914 был призван в кавалерию, младший унтер-офицер. Воевал в составе 5-го драгунского Каргопольского полка. В декабре 1917 вступил в Красную гвардию, в 1919 – в РКП(б). Во время Гражданской войны командовал эскадроном, дивизионом, кавалерийским полком. Воевал в Сибири и на Дальнем Востоке, в Маньчжурии, участвовал в боях на Китайско-Восточной железной дороге. В 1926–1928 инструктор Монгольской народно-революционной армии. С 1929 командовал полком, 5-й отдельной Кубанской кавалерийской бригадой, с января 1930 – 7-й Самарской кавалерийской дивизией (одним из командиров бригады в которой был Г.К.Жуков). В 1936 был назначен командиром 5-го кавалерийского корпуса.
Во время массовых репрессий высшего командного состава Красной Армии на Рокоссовского дали показания некоторые военные, представившие его участником военного заговора. Был арестован. Во время следствия подвергся моральным пыткам и избиениям, его дважды выводили на расстрел и давали холостой залп. В марте 1940 был освобожден (по представлению наркома обороны СССР С.К.Тимошенко) и после лечения в ноябре 1940 назначен командиром 9-го механизированного корпуса, которым командовал до 11 июля 1941.
Во время Великой Отечественной войны с августа 1941 командовал 16-й армией на Западном фронте, с июля 1942 – Брянским, с сентября – Донским, с февраля 1943 – Центральным, с октября – Белорусским, с февраля 1944 – 1-м Белорусским, с ноября 1944 по июнь 1945 – 2-м Белорусским фронтами. Войска под командованием Рокоссовского участвовали в Смоленском сражении, битве под Москвой, в Сталинградской и Курской битвах, в Белорусской, Восточно-Прусской, Восточно-Померанской, Берлинской операциях. На волоколамском направлении под Москвой танковому удару противника Рокоссовский противопоставил глубокую противотанковую оборону, высокую активность и маневр, а в ходе контрнаступления для развития успеха создал в армии две подвижные группы, сочетал фронтальный удар с обходом и охватом. В Сталинградском сражении войска Донского фронта под командованием Рокоссовского во время контрнаступления совместно с войсками Юго-Западного и Сталинградского фронтов прорвали оборону и окружили в междуречье Волги и Дона группировку противника общей численностью 330 тысяч человек, которую затем успешно ликвидировали.
В битве под Курском, командуя войсками Центрального фронта, проявил военное искусство при отражении наступления немецких войск, а затем при разгроме орловской группировки противника в ходе контрнаступления. Организация и проведение артиллерийской контрподготовки в Курской битве, оригинальность решения в операции «Багратион» (1944), отсечение и разгром крупных группировок противника в 1945 в Восточно-Прусской, Восточно-Померанской и Берлинской операциях – примеры полководческого искусства Рокоссовского. Успешные боевые действия руководимых им войск снискали ему славу выдающегося полководца не только в нашей стране, но и в мире. Многие военные историки называют Рокоссовского самым талантливым советским полководцем. Не случайно именно он 24 июня 1945 командовал Парадом Победы в Москве.
В 1945–1949 главнокомандующий Северной группой войск. В октябре 1949 Сталин по просьбе президента Польской республики Б.Берута направил Рокоссовского в Польшу, где тот занял посты министра национальной обороны, заместителя председателя Совета министров и члена Политбюро ЦК Польской объединенной рабочей партии. За то время, пока Рокоссовский возглавлял вооруженные силы Польши, органами государственной безопасности при его потворстве были проведены массовые аресты офицерского состава, так или иначе связанного с Армией Крайовой. После смерти Сталина и начала ослабления жесткого контроля за «братскими партиями» в 1956 был отозван из Польши как дискредитировавший себя участием в репрессиях и в ноябре назначен главным инспектором – заместителем министра обороны СССР. В октябре 1957, несмотря на то, что выступил с обличительной речью на пленуме ЦК КПСС по вопросу об отстранении Г.К.Жукова от руководства вооруженными силами, был снят со всех постов и переведен в Закавказский военный округ на должность командующего. Однако в январе следующего года возвращен на прежнюю должность заместителя министра обороны СССР и главного инспектора. С 1961 кандидат в члены ЦК КПСС. В апреле 1962 переведен в Группу генеральных инспекторов Министерства обороны СССР.
Умер Рокоссовский в Москве 3 августа 1968. Похоронен в Москве в Кремлевской стене.