Betlémské náměstí na Starém Městě je mírně mimo ty nejhlavnější turistické trasy, při tom se na něm nachází jedna z celorepublikově významnějších historických staveb, jakou je Betlémská kaple. Ale kromě ní jsou zde i jiné zajímavé budovy, jednou z jich je i bývalá fara od zrušeného kostela svatého Filipa a Jakuba neboli dům Na rybárně.
Kostel a tím pádem i fara zde existovali v polovině čtrnáctého století – místo náměstí byla kostelní budova a hřbitov, ale vznik slavného svatostánku, kde později kázal mistr Jan Hus byl hřebíčkem do rakve jeho existence. Nejdříve se začal potýkat s finančními problémy a úbytkem farníků a poté byl během občanské války, která přišla v husitském období, zničen a farnost byla začleněna k Betlémské kapli. Budova fary později různě měnila světské majitele a došlo také k její přestavbě (i když gotické sklepení a část zdiva se dochovaly až do dnešních dnů) pro barona M. Joaninelliho v roce 1704, který se stal majitelem domu Na rybárně o dva roky dříve. Tehdy stavba získala barokní kabátek, který obdivujeme v dnešních dnech a také sošku Panny Marie na fasádě a bystu tehdy milostivě ač relativně krátce panujícího císaře Josefa I. Habsburského (pro upřesnění, tento vzdělaný panovník nastoupil na trůn rok po zahájení přestavby zdejšího domu). Za autora stavby se považuje stavitele G. B. Alliprandiho, spojovaného s Ledebourskými zahradami či Píseckou branou a vůbec celým pražským opevněním. V domu Na rybárně se v srpnu roku 1830 narodil známý český malíř, autor romantických a heroických obrazů, Jaroslav Čermák (kterého připomíná i pamětní deska umístěna na hlavním průčelí budovy). O osmnáct let později se zde uskutečnila první schůze spolku Slovanská orlice, která měla posilovat národní uvědomění a slovanskou vzájemnost. Dům Na rybárně byl málem zbourán v roce 1939, k tomu ale na konec nedošlo, uskutečnila se jen větší přestavba nádvorní části domu v letech 1940 až 1941, během níž byly velmi zničeny interiéry stavby.