В годы Великой Отечественной войны в Первомайском (бывшем Сталинском) районе города Ростова-на-Дону был открыт православный молитвенный дом в честь иконы Божией Матери «Одигитрия». В 1964 году исполнительная местная власть приняла решение о ликвидации прихода. В девяностые годы с началом возрождения Православия в России по многочисленным просьбам жителей руководством города Ростова-на-Дону было принято решение восстановить разрушенную святыню. Под строительство нового храма был отведен участок в сквере имени Серго Орджоникидзе. День 28 марта 1997 года стал датой официального образования нового православного прихода в честь иконы Божией Матери «Умиление».
Название храма было принято на первом собрании прихожан. Во время строительства храма богослужения проходили в арендованном помещении производственного цеха, находившемся рядом в сквере.
25 марта 1998 года по благословению архиепископа Ростовского и Новочеркасского Пантелеимона заложен первый камень под строительство нового храма. 23 марта 2004 года над храмом уже сияли золотые купола. 10 августа 2005 года стали совершаться первые богослужения.
3 августа 2008 года состоялось Великое освящение нового храма во имя иконы Божией Матери «Умиление», которое совершил митрополит Ростовский и Новочеркасский Пантелеимон.
С 2017 года в храме организовано сестричество милосердия во имя святителя Николая Чудотворца, которое оказывает помощь раненным воинам и несет различные послушания в храме. За прошедшие годы храм стал настоящим духовно-просветительным центром.
