Kostel byl původně svatyní samostatné osady Obora pod Pražským hradem, která po výstavbě nejstarších kamenných hradeb dnešní Malé Strany zůstala ještě vně zdejšího opevnění. Archeologickým výzkumem byla zjištěna nejstarší fáze stavby, kterou byla románská rotunda. Zasvěcení sv. Janu Křtiteli se dodnes promítá do označení zdejší oblasti jako Jánský vršek. Osada Obora je poprvé zmíněna v tzv. Druhém pokračování Kosmovy kroniky v roce 1278, samotný kostel je poprvé uveden tamtéž v roce 1282. Po stavbě karlovského opevnění Malé Strany se osada dostala dovnitř takto vymezeného města a po splynutí Obory s Malou Stranou se kostel stal filiální svatyní malostranského chrámu sv. Václava (později sv. Mikuláše).

V 16. století byla k rotundě, která nadále sloužila jako presbytář nové svatyně, přistavěna na západě obdélná loď. Po odsvěcení v roce 1784 byl presbytář zbořen a loď byla přestavěna na obytný dům. Stavba kostela byla realizována na místě osídleném již v 11. a 12. století. Archeologický výzkum zde odkryl dokonce i hroby starší než kamenný kostel. Dnes zasypané zbytky románské rotundy se nacházejí v prostoru zahrady východně od východního štítu dnešní budovy. Zachovaná je kromě základů relativně vysoká partie nadzemního zdiva (až 2 m). Enormní pečlivost provedení kvádříkového zdiva nasvědčuje vzniku stavby v průběhu vrcholného rozvoje pražské románské architektury ve 12. století. O podobě rotundy vypovídají i dochovaná zobrazení zdejší části Prahy. Na Sadelerově rytině Prahy z roku 1606 (jmenovaný rytec byl na zdejším hřbitově pohřben) je sice již zachycena přizděná obdélná loď, ale presbytář je zřetelně zpodobněn jako kruhová stavba. Jen lucerna (malá věžička uprostřed střechy kruhové lodi) je zde pojednána jako samostatná vížka, pronikající do prostoru kruhové lodi.