Ves Skrbeň se poprvé připomíná už v r. 1174. Založení zdejší tvrze se klade do počátku 14. stol., kdy se po obci psal rod zdejších zemanů. Její umístění na návrší Hradisko při obci je však nepravděpodobné, to je zbytkem pravěkého osídlení. Tvrz zřejmě už tehdy stála uprostřed obce, obklopena příkopy a rybníky, z nichž mnohé se kolem vsi rozprostíraly až hluboko do novověku.

Počátky dnešní tvrze spadají do poloviny 15. stol. Nejznámějším vlastníkem se stal Jan Skrbenský z Hříště, který si vzal Elišku z Petřvaldu, s níž v obci žil a brzy se po ní začal psát Skrbenský (pův. se psal jen Jan z Hříště). Erby obou těchto šlechticů můžeme dodnes nalézt na portále, kterým se do objektu tvrze vstupuje (erb Skrbenských z Hříště - ve stříbrném poli černý kůl, erb Elišky z Petřvaldu - páv).
Na začátku 80. let 16. stol. získalo Skrbeň město Olomouc. Šlechtické sídlo tak ztratilo svůj význam a začalo sloužit hospodářským a bytovým potřebám dvora (z období, kdy tvrz vlastnila Olomouc pochází erb města umístěný nad portálem).
Bytovým účelům slouží tvrz dodnes.

Text: historie
2.4. 2006 - Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku. Severní Morava.