
V letech 1353-1397 držel vesnici Jindřich z Drnovic a jeho synové, kteří však měli sídla jinde a po Crhově se nikdy nepsali. Po nich prodal Erhard z Kunštátu ves Nickovi z Vitbachu, který se na ní usadil. Jindřich Mojek z Vitbachu Crhov roku 1447 zapsal Petrovi z Bystřice, ale nakonec připadl králi Jiřímu z Poděbrad, který ho v roce 1466 prodal Janu Děvečkovi z Herštejna. Od něho v roce 1487 Crhov i s tvrzí koupili bratři z Pernštejna a připojili jej k pernštejnskému dominiu. Tvrz zůstala opuštěna, postupně chátrala a zanikla.
Z tvrziště se na západní straně zachoval příkop i s valem. Tento na severu i na jihu zahýbá v pravém úhlu, z čehož vyplývá, že tvrziště mělo zřejmě obdélnikový či čtvercový půdorys. Obě tato nároží jsou ale částečně zaoblená, což může být pozůstatek po obranných baštách.