Через несколько месяцев после рождения дочери Яков Григорьевич закончил военную академию, как и военное училище, по первому разряду и был причислен к службе Генерального штаба. Он был назначен на должность квартирмейстера в штаб 1-й гренадерской дивизии, но вскоре переведен в военно-учетный комитет Главного штаба, где и проработал последующие 13 лет.
Эти годы для Жилинского стали знаковыми. Последовательно занимая должности младшего и старшего делопроизводителя, он принимает активное участие в исследовании военного опыта иностранных государств, в результате чего появились его первые печатные труды, не подлежавшие в то время оглашению. За свою работу Яков Григорьевич был отмечен рядом наград: российскими орденами Святой Анны 3-й степени (1888 г.), святого Станислава 2-й степени (1894 г.), Святой Анны 2-й степени (1896 г.), а также несколькими иностранными орденами. В 1888 г. он был награжден орденом Прусской короны 2-й степени, спустя два года – Командорским крестом нидерландского ордена Льва и Командорским крестом 2 класса Виртембергского ордена Фридриха, а в 1894 году – сербским орденом Почетного легиона, турецким орденом Меджидия 2-й степени, в последующие два года – черногорским орденом князя Даниила Первого 2-й степени и Командорским крестом ордена Вюртембергской короны [3] .
В декабре 1896 года служба полковника Жилинского в Главном штабе прерывается. Он прикомандировывается на полтора года к лейб-гвардейскому Уланскому Ее Величества государыни императрицы Александры Федоровны полку для практического изучения кавалерийской службы. По истечении назначенного срока Яков Григорьевич назначается в распоряжение начальника Главного штаба.
В мае 1898 года он направляется на театр испано-американской войны на остров Кубу в качестве военного агента России при испанской армии. По возвращении в Россию о своих пятимесячных наблюдениях Яков Григорьевич представил отчет. В нем он основательно раскрыл картину этой войны с выявлением причин поражений испанской армии, сделал полезные для Российской армии обобщения и выводы. Отчет оказался настолько интересным, что по решению начальника Главного штаба был издан значительным тиражом и направлен для изучения в войсках и военно-учебные заведения. Испанское правительство наградило полковника Жилинского орденом, а в октябре этого же года император Николай II присвоил ему звание почетного гражданина города Михайлова Рязанской губернии, на территории которой Яков Григорьевич имел родовое наследство в 670 гектаров земли [4] .
В следующем году полковник Жилинский, зарекомендовавший себя человеком с довольно высокими аналитическими способностями, включается в состав делегации Военного министерства на Гаагскую конференцию, на которой 26 государств приняли три конвенции о законах и обычаях войны.
В августе 1899 года Яков Григорьевич вступил в командование 52-м драгунским Нежинским полком. Ровно через год, в возрасте 47 лет, он был произведен в генерал-майоры с одновременным назначением на пост генерал-квартирмейстера Главного штаба, в круг ведения которого входила тогда вся служба Генерального штаба. Его усердие по службе за это время было отмечено восемью отечественными и зарубежными орденами, а также подарком с вензелевым изображением имени Его императорского Величества [5] .
В ночь на 27 января (9 февраля) 1904 года нападением японского флота на русскую эскадру в Порт-Артуре началась Русско-японская война, преследовавшая цель передела сфер влияния на Дальнем Востоке противоборствующими сторонами. В этот же день главнокомандующим всеми сухопутными и морскими силами, действовавшими против Японии, был назначен наместник царя на Дальнем Востоке адмирал и генерал-адъютант Евгений Иванович Алексеев, внебрачный сын Александра II. На должность начальника штаба получил назначение генерал-лейтенант Я. Г. Жилинский, удостоенный очередного воинского звания одновременно с назначением на новую должность. При штабе главнокомандующего состоял многочисленный штат адъютантов, генералов, штаб и обер-офицеров Генерального штаба (в общей сложности свыше 100 человек).
Очевидцы отмечали, что в течение всего времени совместной работы между царским наместником и начальником штаба взаимодоверие отсутствовало. Стало это следствием того, что наместник хотел иметь начальником штаба своего старого, постоянного и доверенного сотрудника 44-летнего генерала Василия Егоровича Флуга. Но в Петербурге сочли, что он слишком молод для такого поста, и послали к наместнику генерала Жилинского. Генерал Флуг, оставаясь при наместнике в роли генерал-квартирмейстера, служил передаточным звеном между наместником и его начальником штаба. Нельзя не признать, что такая связь была очень опасной, не объединявшая, а разъединявшая двух весьма важных должностных лиц, живших в отдельных поездах и сравнительно редко встречавшихся. И только благодаря такту и огромной выдержке генерала Флуга удалось избежать полного разрыва в деятельности адмирала Алексеева и генерала Жилинского.
Общее руководство русскими войсками на Дальнем Востоке со стороны адмирала Алексеева длилось не долго. Вскоре в помощь ему для командования морскими силами был назначен адмирал С. О. Макаров, а для командования сухопутными силами – генерал от инфантерии А. Н. Куропаткин, военный министр России. Будучи командующим Маньчжурской армией, Алексей Николаевич был наделен правами главнокомандующего, ему предназначалась вполне самостоятельная и ответственная роль по командованию войсками с целью «облегчить наместнику выполнение выпавшей на его долю тяжелой исторической задачи». Оказанное Куропаткину доверие в отношении командования войсками на театре войны привело к тому, что влияние наместника и его начальника штаба на ход военных действий стало весьма ограниченным. Им, передавшим все войска в распоряжение генерала Куропаткина, не оставалось ничего другого, как давать советы и делиться предложениями. Если же наместник усиливал свои требования, то Куропаткин обращался с жалобой в Петербург. Иногда, правда, он соглашался с рекомендациями Алексеева. Чаще всего это делалось для того, чтобы затем можно было в случае неудачи свалить всю вину и ответственность на наместника. За это штаб наместника, как отмечали современники, мстил Куропаткину и подвергал беспощадной критике все его действия. Не оставался в стороне и штаб Маньчжурской армии, который со злобой говорил про штаб наместника.
В действительности надо признать, что в штабе наместника придерживались во время этой войны более здравых взглядов, выражавшихся не в выжидательной стратегии, а в решительном наступлении. В каком виде все это вылилось бы на практике, сумей штаб наместника осуществить свои планы, взяв на себя ответственность, – это другой вопрос. Во всяком случае, противоречия между двумя штабами не способствовали достижению общей цели, а генерал Жилинский, к сожалению, не смог изменить в лучшую сторону складывающуюся ситуацию. 26 октября 1904 года, с ликвидацией штаба наместника, завершилась деятельность Якова Григорьевича в Русско-японской войне. Она была отмечена двумя орденами: Святого Станислава 1-й степени с мечами и Святой Анны I степени с мечами.