Rejsedigteren Hans Christian Andersen kom lørdag den 25. maj 1850 med diligencen til Kalundborg, her lejede han sig ind på Hotel Storebælt, senere Kallundborg Hotel ved stranden, hvorfra han fra værelset havde udsigt over havet. Bygningen måtte i 1918 vige for Grand Hotel Royal, der ligger Skibbrogade 1. Værten på hotellet var gæstgiver Johan Henrik Thrane, der var ejer af stedet fra 1834 til 1856.
Fra hotellet gik Rejsedigteren gennem byen og til kirken, vendte tilbage til hotellet, hvor han overnattede og den følgende morgen gik om bord på dampskibet ”Laaland” for at sejle over Kattegat til Århus, og skriver: Det var meget godt vejr ude, jeg blev slet ikke søsyg. Vi kom forbi Samsø, hvor på sydskrænten en rest står af Marsk Stiigs Borg. Ankom til Århus kl. 15.00.

Kalundborg. Byen er rig på maleriske, gamle stræder og smøger, ofte med stentrapper, omgivet af lave, kalkede, teglhængte småhuse. Det er navnlig i byens vestlige del, dette gammeldags købstadspræg er bevaret, og der er ved det sidste halvthundrede år ved fredninger gjort meget for i fremtiden at kunne fastholde dette karakteristiske gamle bybillede med den femtårnede kirke fra 1170, som er enestående i verden for den dristige kunstruktion.

Rejsedigteren var en farende svend, hvis urolige sind stadig drev ham  fra sted til sted, og kom på en af sin talrige rejse i landet til Kalundborg den 12. juni 1850, og skrev herfra.
Den nat jeg sov i Kalundborg blev der ikke undt mig meget søvn. Jeg havde hele to smukke værelser; men hvad hjalp det! Op til mit sovekammer lå et ægtepar, der talte så højt og ufortrønet, at jeg kom ind i hele deres historie, jeg ringede, bad pigen sige dem derinde, at jeg lå og hørte alt, hvad de sagde, og lidt efter hørte jeg manden udbryde: Man må gerne høre alt, hvad vi siger, for vi har ikke noget hemmeligt! Jeg måtte altså holde ud. Endelig blev der stille, men nu begyndte manden at snorke, som var det drøn fra "den hemmelige ret," og allerede klokken fem om morgenen stod de op for at se, hvorledes vejret var til overfarten klokken ni, og så gik konversationen igen, så den fik mig på benene.

Kalundborg Kirke. Vor Frue kirke er ved sin sjældne form en af de mærkeligste og mest gådefulde kirkebygninger i Norden. Stammen i kirken er et kvadratisk skib, der på fire granitsøjler bærer det store centraltårn. Fra skibet udgår fire lige lange korsarme, der ender i ottekantede tårne. Planen er således formet over et græsk kors og stammer utvivlsomt fra Byzans.De senere års udgravninger i øvrebyen har gjort det muligt at placere kirken som et led i omfattende fæstningsanlæg. Kirken er således en borgkirke. Tårnene er opkaldt efter Jomfru Maria, Skt. Anna, Skt. Gertrud, Skt. Maria Magdalene og Skt. Catharina. Altertavlen er et rigt barokt snitværk. På alteret står et lille forgyldt malmkrucifiks fra 1100 tallet og to par sengotiske alterstager. I kirken hænger fire epitafier. Kirkeladen og den sengotiske præstebolig ved hegnsmuren er i behold, og det giver sammen med kirken og andre gamle stenhuse i nabolaget et umiskendeligt præg af middelalder. Ligkapellet har før været brugt til præstebolig, bolig for latinskolens rektor, fattigskole og fattighus.

Lerchenborg Slot. Lerchenborg Slot var i middelalderen krongods under Kalundborg Slot. Dette blev l658 indtaget og ødelagt af svenskerne. Da riget var forarmet efter svenskerkrigen måtte det - som meget andet krongods - sælges til landets kreditorer. Køberen var Gabriel Marselis hvis søn Frants i l703 solgte godset til Carl greve Ahlefeldt. Efter et par ejerskift blev herregården l742 erhvervet af general Chr. Lerche, der nedstammede fra borgmester i Nyborg Peder Nielsen, hvis kone var enke efter Mads Lerche. Børnene i dette sidste ægteskab tog deres halvbrødres slægtsnavn, og familien nåede højt op ad rangstien i de kommende generationer. Den pragtfulde hovedbygning (barok ) med de fornemme interiører i det store slot - har siden (med ganske kort afbrydelse) været i slægtens eje.
Grevskabet Lerchenborg oprettedes i l8l8, efter at det havde været stamhus fra l775. Dette bestod af godset, samt den bevarede Lerches Gård i Slotsholmsgade i København. Om sommeren afholdes musikfestival med koncerter m.m. på slottet.

Om sit første besøge hos lensgreven på Lerckenborg Christian Albrecht Lerche skriver Rejsedigteren den 30. juni 1862. Jeg har i forrige uge været på Lerckenborg og ret glædet mig ved at se et sådant rigtigt prægtigt herresæde, med unge grever og gamle komtesser, med stive buegange og tjener bag stolen. Jeg holder meget af for en nat at ligge i tronseng og blive hentet i wienervogn med 4. heste.

Riddersalen. Under Rejsedigterens besøg på Lerchenborg Slot i l852, fremførte ejeren Christian Albrecht lensgreve Lerche egne kammerkompositioner ved musikaftner i riddersalen.

Digterens stue. I den søndre sidefløj boede digteren under opholdet på Lerchenborg Slot. Stuen har stået uberørt siden.

Slotsparken. Parken er landets bedst bevarede haveanlæg fra l745-l747. De vældige Amerikanske Wellington-træer har Rejsedigteren beskrevet i dagbøgerne

Sneglebakken. Sneglebakken som ligger her nord for Slottet, stod Rejsedigteren ofte på og nød udsigten over Kattegat.