A templom a község közepén áll. Olyan magas épület, hogy a falu minden pontjáról látható. Négyszögletes tornya karcsúnak tűnik, falait három kis nyílás szakítja meg. Felső emeletén félköríves alakú harangszoba három haranggal. A magas, erős tornyot kőkorlátos erkély övezi, amely megfigyelőhelyül szolgált a török portyázások idején. Békésebb időkben tüzek megfigyelésére használták, s talán arra, hogy a Sopron felöl érkező vendégekről hírt adjanak a faluban várakozóknak.

A templom alapja két egymáshoz illesztett téglalap. A falak mindenütt másfél méter vastagok, ezért belső méretei sokkal kisebbek. Rákosi kőből készült az egész épület. A temetővel körülvett templom az utca vonalához képest előre lép, így uralja a teljes utca képét. Az utca éppen ezen a ponton szűkül le a leglátványosabban.

A középkorban a templomot körülvevő sírkertbe temetkeztek. Rákoson a templom körüli 550 négyszögöles udvarban létesült a temető. Szép gondolat volt, hogy a meghalt hívek ott nyugodjanak, ahol értük a szentmisét minden nap bemutatják; ahol a fejfájuk és a sírjuk emlékeztette a templomba menő híveket, hogy értük is imádkozzanak.
Mária Terézia királynő egészségügyi rendelete 1775-ben megszüntette a községek beépített területén a templomok körüli temetőket. A korábbi pestistemető mellett a városfalakon kívül új temetőt kellett nyitni.

Rákoson meghatározó szerepet töltöttek be a körmenetek. A 17. században áldozó csütörtökön reggel indultak a soproniak a rákosi búcsúra. A háromnapos ünnepsorozat a kastély kápolnájában kezdődött, a kis kápolna előtt folytatódott, majd a Virágosmajorban végződött. Pünkösdhétfőn viszont a rákosiak vonultak a Szentlélek templom búcsújára.

A templom külső fala mellett négy pap sírja található. Itt nyugszik Harrer János, Miskei Antal, Hohenegger Lőrinc, és Kondvitska Márton. Magában a templomban is épült egy kripta a padlózat alatt lelkipásztorok számára, ide temették Bobits Mátyás esperest.

Az 1992-ben megkezdett felújításkor megbontották a padlózatot. A falakon belül megtalálták az Árpád-kori ősi templom alapjait.