A Vértes belsejében (a bencések szokása szerint: a főbb utaktól és a lakott területektől távol) egy magaslaton fekszik, a hajdan nagyméretű bencés kolostor és templom romja, melyet Szt. Kereszt tiszteletére szenteltek fel.

A keleti tájolású, háromhajós templom egyedi vonása, hogy a főszentély három karéjos elrendezésű, nyugati homlokzata két tornyos, a korai gótika hatását tükröző templom volt, amelyet nyolcszögű pillérek, bimbós, leveles oszlopfők, csúcsíves záródások jellemeztek.

A kolostort vörösmárvány díszítései miatt "Vörös kolostornak" is nevezték. Hossza 32,5 m szélessége 16 m, a kereszthajóknál 19,6m.

A vértesszentkereszti kolostorrom román kori építészetünk egyik korai emléke.
1146-ban keltezett első írásos feljegyzése a Csák nemzetségből származó Ugrint nevezi meg a monostor alapító és adományozó kegyurának.

A kezdetben szerény épületegyüttest (az első kolostor templomát, mely még egyenes záródású szentéllyel épült), a fontos egyházi méltóságokat betöltő II. Ugrin (előbb püspök, majd esztergomi érsek) az 1210-es években jelentősen kiépítette, ekkor nyerte el ma is látható (latin kereszthez hasonló) alakját.
Később, a XIV. századtól az apátság befolyása csökkenni kezdett -a rend számos kolostorához hasonlóan, a Csák nemzetségtől visszakerült királyi birtokba. IV. László király 1276-ban oklevelet keltezett innen, Zsigmond pedig 1393-ban nyilatkozatában támogatja a bencéseket. A XV. század második felében az épületek már rossz állapotban voltak és a szerzetesek nem tudták megújítani kolostorukat, ezért a bencések elhagyják az apátságot.

Mátyás király 1478-ban IV. Sixtus pápától kéri, hogy a hanyatlásnak indult kolostort az obszerváns domonkosoknak adhassa, akik a birtokukba került kolostorban csak 1505-ben alakították meg konventjüket. Ekkor újabb építkezésekre került sor, elsősorban a kolostor részben, ahol kerengőt alakítottak ki, és reneszánsz részletekkel díszítették. A kolostor kerengőjének sarkánál kis kápolna állt, amely eredetileg a közeli település plébániatemploma lehetett. Ezt a kis templomot a domonkosok belefoglalták a kolostorukba. A domonkosok XVI. század első feléig tartó építkezését, átalakítási munkáit nem a szépségre való törekvés, hanem a szerénység és a célszerűség jellemezte. 1541-ig működött ebben a formában.

A kolostorban az életet a török pusztítás szüntette meg.

A török idők alatt a templom és a kolostor elpusztult. A törökök valószínűleg erődnek használták az épületegyüttest, felújításával nem foglalkoztak, kivonulásuk idején már bizonyosan rom volt.

A XVIII. században (1727-ben) az Esterházyak tulajdonába kerül. A növényi ornamentikával díszített, faragott oszlopfőket, állatalakos töredékeket, csúcsíves ablak- és kapukeret-köveket, a pannonhalmi főapát tiltakozása ellenére az Eszterházyak kastélyukba szállíttatták és a kor divatja szerint romantikus műromokat építtettek belőlük Csákváron és Tatán. Ezek ma is láthatók, számos faragott követ a tatai múzeumban őriznek.