Константин Яковлевич Жилин в самом начале войны ушел защищать Родину. Он был командиром батареи 924-го артиллерийского полка западного фронта. Участвовал в боях по освобождению Калининской и Смоленской областей.
20 августа 1943 года, будучи старшим лейтенантом, с группой бойцов выполнял задание по разведке тыла противника. Захватив орудие противника и развернув его, открыли огонь по врагу. За этот подвиг был награжден Орденом Красной Звезды. В сентябре 1943 года во время боя за город Ярцево Смоленской области его батарея вела огонь по прямой наводке по наступающим танкам. Он лично открыл огонь из чужого орудия и убил противника. Вражеский танк на полном ходу смял орудие, и Жилин получил тяжелое ранение, а после был эвакуирован в госпиталь.
В 1944 году был уволен в запас по ранению. Долго время работал редактором районной газеты.