Le mamelon sur lequel est bâti le village portait, avant la fondation de Villemade, le nom d’Ile, parce que selon toutes les apparences, il était baigné à l’est par un grand lac, pendant que, du côté du Tarn et de l’Aveyron, la base du mamelon côtoyait les marais de ces deux rivières.
Le village fut créé en 1144 par Alphonse Jourdain, à proximité du château, peu après qu'il ait fondé la ville de Montauban. Il le nomma Ville-Aimée ou Isle-Amade (Villa-Amada, Isla-Amada) nom qui, avant la fin du XIIIe siècle, avait été métamorphosé dans les documents latins seulement en Ville-Humide (Villa-Madida), et qui devint enfin Villemade.
Le village actuel de Villemade a succédé, en 1144, à une ville romaine importante, située sur les deux rives du Tarn : elle avait 1 300 mètres de longueur et un demi-kilomètre de largeur moyenne. Le nom de cette ville, détruite en 407 par les Vandales, est resté inconnu ; des ruines romaines et le nom de Ville-Vieille par lequel on la désigne encore, attestent seulement l’existence de cette antique cité, dont l’emplacement appartint longtemps à l’Abbaye de Saint Théodard.