I 1860érne begyndte Rejsedigteren Hans Christian Andersen at komme til Vedbæk, her besøgte han en fru Louise Neergaard (1808-1866), gift med Johan Ferdinand Neergaard (1796-1849), amtmand over Præstø amt, stenderdeputeret og godsejer og kammerherre.
Under besøgene i Vedbæk gæstede naboer til familien, ligesom han beskæftigede med at plukke og binde buketter til Fru Neergaards gæster.
Dagenen gik også med en række udflugter blandt andet til Rude skov og Løi sø.