Демобилизовавшись из армии в 1950 году, перебрался жить в Ростов. Недолго думая, Яков Коваленко поступил на службу в МГБ на транспорте, охранял общественный порядок на станции Ростов-Главный. Сопровождал поезда. В те времена хищения грузов, кражи, грабежи, разбои, убийства, бандитизм не были чем-то из ряда вон выходящим. Особенно после хрущевской амнистии 1953 года.

Многое пришлось повидать командиру отделения, старшине милиции Якову Коваленко за двадцать лет службы в органах правопорядка. Вот один из эпизодов его службы. В шестидесятых годах прошлого века, делится воспоминаниями юбиляр, в Ростове орудовала переселившаяся из Болгарии цыганская шайка. Бродили по городу, промышляли воровством, грабежами, не чурались убийств. В одном из городов Ростовской области ограбили и убили священника и всю его семью. Обнаружив на ростовском вокзале их вещи, транспортные милиционеры вышли на след главаря бандитов. Задержать цыганского барона старшине милиции вместе с коллегами удалось в одном из ресторанов Севастополя. При задержании у того нашли крест убитого священника. Пока летели в самолете в Ростов, цыган начал предлагать любые суммы денег чтобы его отпустили. Не получилось у него откупиться. Суд приговорил барона к десяти годам колонии. В это же время в Котовске были найдены ворованные вещи. След привел к этой же группировке, за что главарь получил трехлетнюю надбавку к сроку. За поимку главаря старшина Коваленко был награжден медалью «За отличную службу по охране общественного порядка».

История с цыганским бароном имела весьма интересное продолжение. Через два месяца после этих событий бравый блюститель закона решил навестить в Новочеркасске своего брата. Собираясь вечером домой, зашли с братом в привокзальный ресторан. Присели за столик, и тут старшина увидел за соседним столом того самого цыганского барона. Тот в компании своей жены и сына вместо положенных ему по приговору тюремных нар преспокойно вкушал блюда привокзального ресторанчика. Хотя милиционер был в штатском, они сразу узнали друг друга. Взяв коньяк и рюмки со своего стола, цыган подсел к удивленному старшине и сообщил, что не бежал из колонии. Достав из кармана, показал оформленную по всем правилам справку об освобождении. Как оказалось, мир для бандита оказался не без добрых людей. В обмен на определенное количество денежных знаков он получил заветную свободу.

Вернувшись в Ростов, Яков Владимирович немедленно доложил своему руководству о состоявшейся случайной встрече. Начальник не поверил, подумал что его подчиненный перепутал. Пришлось старшине милиции заново изловить барона и доказать, что он ничего не перепутал.

После увольнения из милиции Яков Коваленко двадцать лет возглавлял охрану ростовского завода имени Октябрьской революции.

Поздравить именинника с вековым юбилеем пришли начальник Ростовского линейного Управления МВД России на транспорте полковник полиции Михаил Шустев и его заместитель полковник полиции Айдын Махмудов.