Monumentálnou a najznámejšou stavbou mesta je Ilavský hrad. V ňom už Rakúsko Uhorský štát v r. 1855 zriadil krajinskú trestnicu, ktorá tam v novej podobe zotrvala až dodnes. Je priamo v meste a v jej bezprostrednom okolí sa neodporúča pohybovať a fotografovať. Ďalšou zaujímavosťou mesta je Ilavská zvonica či Rímsko – katolícky kostol Všetkých svätých – kostol Trinitárov. V Mestskom múzeu je možnosť si pozrieť národopisnú, prírodovednú expozíciu a históriu mesta.