
Tvrz tvoří jádro ve tvaru elipsy (10,5 x 8 m), vykrojené do plochy svahu. Tvrziště bylo chráněno příkopem, který se zachoval dodnes hluboký 1–1,5 m (kromě zasypané severní části) a valem, který se nezachoval. Na východní straně příkop nebyl, tam bylo tvrziště chráněno srázem.
Část vsi Pavlovice je uváděna při prodeji, kdy v roce 1349 prodal Filip mladší z Pernštejna Jimramovi z Pernštejna podíl v Pavlovicích spolu s podíly v okolních vsích. Od roku 1351 část vlastní páni z Pavlovic, o jejichž působení máme mnoho zpráv díky četným transakcím. V roce 1351 prodala Ofka z Pavlovic blíže nejmenovanému Janoši lánovou usedlost s hřivnou platu, o dvě léta později vkládá Anka z Pavlovic Vavřinci Smrčkovi půllán v Pavlovicích a roku 1358 Zdeňka z Pavloviček a Veselí svému synovi Tomíkovi dvůr v Pavlovicích. V roce 1366 se stává majitelem čtvrtiny dvora v Palovicících Vlčna z Nové Vsi. Dále svůj majetek včetně Pavlovic postoupil v roce 1368 Vrchoslavovi ze Stříteže. Spolu s Pavlovicemi postoupil i vsi Sedliště a Žebratice, které tvořily základ pavlovického panství. V roce 1376 postoupil Adam z Pavlovic Jimramu z Pernštejna lánový poplužní dvůr v Pavlovicích a třetinu vsi Sedliště. Pavlovičtí v té době vlastnili majetek i jinde. Například v roce 1398 získává Adam z Pavlovic majetek v Blažejovicích. A naopak jsou zmínky i o vlastnictví jiných rodů. V roce 1409 kupuje část panství od Pernštejnů Jindřich z Pavlovic a k němu připojuje další lánovou usedlost, koupenou od Vrchoslava z Meziboří. Jindřichovy snahy o sjednocení Pavlovického panství nebyly asi vždy legální, nevíme ani, jaký podíl měl rod z Meziboří. Na základě soudních pří můžeme soudit, že jak Jindřich, tak jeho potomci převedli majetek Vrchoslava z Meziboří na sebe. V roce 1461 Kateřina z Meziboří pohání Martina z Pavlovic, že jí drží v Pavlovicích její dvůr. Martin v roce 1461 umírá a jeho majetek přechází na jeho syna Jana. Toho pohání kvůli neoprávněnému držení majetku Kateřinina sestra Maruše z Meziboří. Tím Pavlovické panství získává Kateřina a její manžel Matěj, která společně ze sestrou prodávají Pavlovice a ves Střítež v roce 1481 Vratislavu z Pernštejna. Syn Jana z Pavlovic, Jan zvaný Káče, toto vyrovnání majetku ignoruje a má kvůli hospodaření na Pavlovickém panství několik sporů s Pernštejny. V roce 1489 jej pohání Václav z Pernštejna za vymýcení lesa v Pavlovicích, v roce 1490 Vratislav z Pernštejna za neoprávněné držení dvoru v Pavlovicích a mýtí mu les v Žebratici. V roce 1492 ho pohání Vratislav z Pernštejna opět. V roce 1494 pohání Jan Káče Jana Zikmunda Osovského z Doubravice, že mu dluží peníze za víno. V roce 1502 Jan Kusý z Mukoděl Mikuláše Tulešického z Pece, že za něj slíbil Janu Káčemu z Pavlovic 50 zl. a on mu je nechce splatit. Toto je poslední zmínka o vladycích z Pavlovic, není však jisté, jestli Jan Káče ještě žil, nebo jde už o vyrovnání dluhu po jeho smrti. Pavlovické panství se stalo součástí pernštejnského panství a tímto pravděpodobně zpustla i tvrz. Písemná zmínka o existenci tvrze není žádná, podle nálezů se předpokládá, že existovala v průběhu 14.–15. století. V třicátých letech 16. století jsou v Pavlovicích zmiňovány tři usedlosti, z nichž jedna je svobodným dvorem, jestli se tím myslí grunt, kde byla tvrz, je úkol dalšího zkoumání. V 17. století byl název vsi změněn skrz příslušnost k moraveckému panství na Moravecké Pavlovice..