Hrádek u Babic se nachází na ostrožně mezi obcí Babice nad Svitavou a Býčí skálou v Křtinském údolí. Kolem vede žlutá turistická značka. Lokalita leží na katastrálním území obce Babice nad Svitavou. Vzhledem k tomu, že se přímo v obci nacházela tvrz, vypálená roku 1645 švédskými vojsky, je pro rozlišení tato lokalita nazývána jako Hrádek u Babic.
