Іван Семенович народився в селі Мар'янівка, що біля Василькова. В 7 річному віці почав співати в хорі Михайлівського Золотоверхого монастиря в Києві, де прожив майже 10 наступних років.

В 1917-му році талановитого співака монастирського хору помітв Олександр Кошиць і запросив до свого хору. Також в цьому році Козловський вступив до Київського музично-драматичного інституту (зараз Інститут Карпенко-Карого). Через відомі події того буремного часу навчання він так і не закінчив. В 1920-23-му виступає в Українському музично-драматичному театрі у Полтаві. Далі доля кидає Козловського в Харків, а звідти аж у Свєрдловськ. Звідти в 1926-му його запрошують до московського Большого театру.

На сцені Большого Козловський виступав до 1954-го року. Гастролював як з театром, так і сольно. Іван Семенович залишався великим патріотом України: в його репертуарі було безліч український пісень та романсів, включно з піснями січових стрільців. Щоправда, тексти останніх доводилось трохи змінювати.

Козловський заповів поховати себе в Україні, в рідній Мар'янівці. На жаль, його бажання не було виконано і зараз його прах покоїться на Новодєвічєвому кладовищі в Москві.