1904 m. prie Šiaurės-Vakarų geležinkelio stoties Olita kareivinių pašonėje Karinės žinybos lėšomis buvo pastatyta
Šv. Pokrovo (Šv. Užtarėjo) garnizoninė cerkvė.
Cerkvė buvo stačiakampė, 33 m ilgio ir 16,5 m pločio, trinavė, bazilikinio tūrio, su dviem bokštais. Aukštesnysis bokštas kilo pagrindiniu fasadu, jo apačioje buvo durys su arkine sąrama. Apatinis bokšto tarpsnis buvo keturkampio, viršutinis – aštuonkampio plano., baigėsi smaile, antrasis – žemesnysis bokštas buvo apsuptas keturių žemų bokštelių. Visi cerkvės bokštai ir bokštelius vainikavo maži svogūno formos kupolai.
Stačiatikių šventykla pastatyta pagal 1900 m. patvirtintą tipinį karinių cerkvių projektą. Statyboms vadovavo papulkininkis Sacharov. Cerkvės pastatai, varpai ir reikmenys kainavo 90000 rublių.
Cerkvė, pastatyta senoviniu slavišku stiliumi su langais
dviem aukštais. Išorė tinkuota ir nubalinta kreidiniais dažais su gausiomis plytų puošybos detalėmis,
o vidus išdažytas aliejiniais dažais bizantiško stiliaus
ornamentais.
Cerkvės ikonostasas (I Pasaulinio karo metais)
Išorinį ir vidinį cerkvės vaizdą atitiko
meniškai padarytas tamsaus ąžuolo ikonostasas, o taip pat ikonos, sukurtos Olovianišnikov'o draugijos dailės dirbtuvėse Maskvoje.
Cerkvės grindys sudėtos iš metlacho plytų, palangės ir altoriaus pakyla
iš pilko marmuro. Šventykloje be ikonostaso ir
puošnių ikonų spintelių visiškai nebuvo medinių elementų;
net turėklai ir langų
rėmai geležiniai. Talpino iki 800 žmonių. Pašventinta 1904 m. lapkričio 30 d.
Cerkvės parapijiečiais laikyti 43-oji Artilerijos brigada ir keletas Uralo pulko, išsidėsčiusio netoliese, būrių.
Vietinei karinei cerkvei priklausė vienas šventikas.
Šventikui buvo pastatytas 5 kambarių namas, su ūkiniais
pastatais.
Pirmojo Pasaulinio karo metais, Alytų užėmus Vokietijos armijai, cerkvė paversta kariškiams skirta evangelikų liuteronų kirche.
Po Pirmojo Pasaulinio karo ji liko nenaudojama, o vėliau buvo perduota katalikams.
Apie 1924 m. pastato architektūra pakeista, nugriautas antrasis bokštas su kupolėliais, nuimtas svogūno formos kupolas nuo pagrindinio bokšto smailės, pakeistas interjeras, įruošta Šv. Kazimiero filijinė bažnyčia, priklausanti Simno dekanatui.
Galima sakyti, tai buvo Lietuvos kariuomenės, daugiausia antrojo ulonų pulko, įgulos bažnyčia.
.1939 m. pabaigoje, ulonų pulkui persikėlus į Tauragę, bažnyčia buvo uždaryta, joje įsikūrė dirbtuvė, vėliau internuotųjų lenkų stovykla.
Šios fotografijos apraše minima belaisvių stovykla
Apie 1941 m. stačiatikiai susigražino pastatą, vėl jame įrengė cerkvę.
Po karo sovietai bažnyčią uždarė, kaip ir daugelį kitų maldos namų, pastatas paverstas sandėliu, vėliau – Alytaus mašinų gamyklos klubu. Buvo nugriauta viršutinė centrinės navos dalis, pakeisti fasadai ir interjeras: išluptos marmurinės grindys, sunaikintos freskos ir vitražai. Pastatas prarado sakraliniam pastatui būdingą vaizdą.
XX a. pabaigoje Lietuvai atgavus nepriklausomybę, šventyklos
pastatas atiduotas katalikų bendruomenei ir naudojamas pagal paskirtį.
....
Be aprašytosios, Olitoje ir jos apylinkėse veikė dar dvi cerkvės: medinė cerkvė Pontono kareivinėse ir medinė cerkvė Saratovo kareivinėse. Saratovo kareivinių cerkvė apie 1923 m. išardyta, jos rąstai panaudoti Kazlų Rūdos bažnyčios statybai.
Tikėtina, kad apie Saratovo kareivinių cerkvę rašoma, kad tai 112-ojo Uralo pėstininkų pulko Pokrova Presviatoj Bogorodicy (Švč. Dievo Gimdytojos Užtarėjos) cerkvė. Apie ją žinoma, kad nuo 1910 m. ji buvo vienoje iš medinių valgyklų pulko, išsidėsčiusio Olitoje, 1 varsto atstumu nuo Nemano. Ši cerkvė talpino 600 žmonių.
Pontono kareivinių cerkvė 1937 m. buvo nugriauta. Lietuvos aidas rašė: „Alytaus pontonų kareivinių rajone riogsojo sunykęs didelis medinis pastatas – rusų pionierių įgulos cerkvė. Nepriklausomybės karų metu čia rinkosi mūsų kariai savanoriai, vėliau (1927 m.) ją perėmė šaulių sąjunga, įrengta šaulių sąjungos salė ir štabas. Dabar statinys išardytas, mediena panaudota naujų šaulių namų statybai. Nugriauto pastato vietoje numatoma įrengti antrąjį stadioną“.