Karksi püha Peetruse kihelkonna ajalugu algab 13. sajandil. Ordulinnuses oli kabel. Hiljem ehitati linnuse värava lähedusse puukirik.
16. sajandil levis Liivimaal usupuhastus. Kogudusel oli oma maa ja kirikumõis, mida „papi maaks“ kutsuti. Põhjasõja ajal 1703. a. puukirik hävis. Põletati ka kirikumõisa hooned ja vastureformatsiooni käigus ühendati koguduse maa Karksi lossi majapidamisega. Ametisse määrati katoliku preester Paul Bazarowsky.
Uus puukirik ehitati uuesti üles 1730. a. Samal aastal ehitas Karksi mõisa omanik feldmarssal Georg Reinhold von Lieven linnusesse viiva tee äärde muistsele orduvendade kalmistu alale perekonna kabeli.
1773. a. otsustati ehitada uus kivikirik linnuse varemetele, kus oli selleks kaks kõlblikku müüri olemas. Uus kirik valmis Issanda aastal 1778 ja pühitseti 3. septembrikuu päeval.
1847. a. kutsuti Karksi köstriks Friedrich Saebelmann ja samal ajal osteti Ernst Carl Kessleri firmalt kirikusse orel, mis on mängukorras tänini.
19. sajandi lõpul hakkas kiriku torn viltu vajuma. Ilmselt ei olnud oru nõlvakule rajatud vundament küllaldane, et torni raskust kanda.
1995. a. toestati torn 6-meetiste betoonvaiade abil. Samal ajal rekonstrueeriti ka kiriku tornikiiver. Torni kõrgus on 33,5 m ja tipust maapinnani mõõdeti torni kaldeks lääne suunas kaks meetrit ja viis sentimeetrit.
Karksi Peetri kirik asub Karksi-Nuia ürgoru maalilisel kaldal ja on ainulaadne vaatamisväärsus muistse ordulinnuse varemete taustal.