В 1871 году Владимир Александрович поступил в Николаевскую академию Генерального штаба. После трехлетнего обучения он был произведен в штабс-ротмистры и назначен старшим адъютантом 1-й гвардейской кавалерийской дивизии, а с 19 марта 1877 года – обер-офицером для особых поручений при штабе 1-го армейского корпуса, затем командовал эскадроном лейб-гвардии Кирасирского Его Величества полка.
Участник Русско-турецкой войны 1877–1878 годов. Первоначально В. А. Сухомлинов занимался организацией гражданского управления в Тырново, затем был направлен к командующему 14-й пехотной дивизией М. Ф. Петрушевскому. С 15 сентября 1877 года состоял в распоряжении главнокомандующего действующей армией великого князя Николая Николаевича (cтаршего). Сделал ряд рекогносцировок турецких укреплений под Плевной. С 12 октября 1877 года по 5 января 1878 года состоял в Ловче-Сельвинском и Троянском отрядах П. П. Карцова. За боевые отличия в войне награжден в 1878 орденом Святого Георгия 4-й степени и Золотым оружием с надписью «За храбрость». Но уже после заключения перемирия посетил Константинополь, где заразился черной оспой и 15 апреля 1878 года на санитарном пароходе «Буг» был эвакуирован в Россию.
После окончания Русско-турецкой войны Сухомлинов был назначен правителем дел Николаевской академии Генерального штаба. В этой должности он руководил практическими занятиями по тактике и занятиями дополнительного третьего курса. Одновременно Сухомлинов читал лекции по тактике в Николаевском кавалерийском училище и Пажеском корпусе. Также ему было поручено преподавание тактики и военной истории великим князьям Петру Николаевичу и Сергею Михайловичу.
Однако преподавательская работа не привлекала Владимира Александровича. Он рвался в строй, и в 1884 году назначается помощником командира кавалерийской дивизии с производством в генерал-майоры.
В то же время вышестоящее начальство обратило внимание на его заслуги в деле обучения и воспитания слушателей военной академии. В январе 1886 года В. А. Сухомлинов назначается начальником офицерской кавалерийской школы. Находясь в этой должности в течение почти 12 лет, он сделал многое для развития и усовершенствования техники кавалерийского дела в русской армии. За время руководства школой Сухомлиновым были написаны ряд учебных пособий и рассказов, а также историческое исследование о Мюрате. Кроме того, в разное время он сотрудничал с журналами «Разведчик», «Военный сборник» и газетой «Русский инвалид».
Некоторые историки считают, что именно в это время произошел некий разрыв в отношениях между Сухомлиновым и инспектором кавалерии великим князем Николаем Николаевичем (младшим). Возможно, это произошло потому, что Владимир Александрович был достаточно близким к известному в то время военачальнику генералу М. И. Драгомирову, который в конце XIX века командовал войсками Киевского военного округа и который не раз негативно отзывался о великом князе. Факт в том, что по предложению последнего в апреле 1898 года Владимир Александрович назначается начальником 10-й кавалерийской дивизии, входившей в состав войск Киевского военного округа, штаб которой располагался в Харькове. С мая 1899 года он – начальник штаба Киевского военного округа, с октября 1902 года – помощник командующего Киевским военным округом.
Вступив в эту должность, В. А. Сухомлинов начал чаще бывать в Петербурге, где у него завелись обширные знакомства в Военном министерстве и при дворе. Он стал скрытный и осторожный, щедрый на подарки и лесть «нужным» людям. Видимо, поэтому, когда с началом Русско-японской войны генерал Куропаткин предложил Сухомлинову занять пост его начальника штаба, он отказался, объяснив это тем, что не знаком с дальневосточным театром военных действий и сибирскими войсками. На самом же деле Владимир Александрович из дворцовых источников знал, какие на самом деле плетутся интриги вокруг этой войны. Придворные связи проявились и в том, что после произошедших в Киеве беспорядков в октябре 1905 года и в связи с уходом в отставку генерала М. И. Драгомирова 23 октября 1905 года Сухомлинов был назначен на пост киевского, подольского и волынского генерал-губернатора, с осени 1906 года – генерал от кавалерии. Генерал-губернаторство Сухомлинова пришлось на трудное время революции 1905–1907 годов. Несколько раз он становился целью террористов, а после основания Киевского отдела монархической организации «Русское собрание» был его председателем.
2 декабря 1908 года В. А. Сухомлинов был назначен начальником Генерального штаба. Принимая эту должность, он настоял на своем подчинении военному министру, считая необходимым единоначалие. Также он назначается членом Совета Государственной обороны, который возглавляет великий князь Николай Николаевич (младший).
11 марта 1909 года Владимир Александрович занял пост военного министра. С этого момента вся его деятельность была направлена на завершение реформ в русской армии, начатых его предшественниками. Правда, решение задач реформирования армии осуществлялось медленно, не всегда в правильном направлении. Перевооружение велось в основном за счет закупок оружия за рубежом, собственная военная промышленность была очень слабой. Мало внимания уделялось освоению новой техники – самолетов, автомобилей, пулеметов. При Сухомлинове были расформированы резервные и крепостные войска, за счет чего были усилены полевые войска (число армейских корпусов выросло с 31 до 37). В 1911 году была создана военная контрразведка.
В то же время, при работе в Совете министров у Сухомлинова сложились натянутые отношения с министром финансов В. Коковцовым, который стремился всеми средствами сократить военные расходы.
С началом войны, в связи с развертыванием Ставки Верховного главнокомандующего, роль военного министра свелась в основном к вопросам снабжения действующей армии. При этом интриги между Сухомлиновым и некоторыми другими министрами продолжались. Поэтому когда к весне 1915 года обнаружился большой недостаток снарядов и другого военного снаряжения, Сухомлинова стали считать главным виновником плохого снабжения русской армии. Инкриминировались ему и другие «дела», подавляющая часть из которых была следствием интриг в высших кругах власти.
13 июня 1915 года под давлением общественного мнения Сухомлинов был уволен с должности военного министра. Вскоре после этого было начато расследование его деятельности на посту министра. 8 марта 1916 года он был уволен с военной службы, а 29 апреля 1916 года – арестован и находился в заключении в Трубецком бастионе Петропавловской крепости на время следствия. Но оно результатов не дало, и 11 октября 1916 года Владимир Александрович был переведен под домашний арест, и у него появилась возможность публичного оправдания. Со стороны императора и других сановников предпринимались попытки свернуть дело Сухомлинова, но министры юстиции А. А. Хвостов и А. А. Макаров не допустили этого, угрожая отставкой.
После отречения Николая II, 1 марта 1917 года В. А. Сухомлинов вновь был арестован. По этому поводу газета «Известия» Петроградского совета рабочих и солдатских депутатов 9 марта 1917 года от имени прапорщика 171 пехотного запасного полка Романа Лукича Чиркунова писала:
«28 числа народ, проходящий по Офицерской улице, был обстрелян из дома № 55, где проживал Сухомлинов. По просьбе собравшейся толпы, желавшей обстрелять этот дом, я с депутатами от этой же толпы произвел обыск чердаков и подвалов этого дома, причем в подвале мною найдено было два пулемета системы Кольта и 10 винтовок с запасом патронов и там же арестован переодетый в статское полицейский, оказавший сопротивление. На чердаках было арестовано пять неизвестных при трех револьверах. Все шестеро были отвезены в думу. За домом, где проживал Сухомлинов, был учрежден надзор.