På et pleiehjem for eldre forteller en mann en kvinne om sitt livs store kjærlighet. Ved hjelp av historier og minner han tidligere har nedfellt, i sin gamle, utslitte notatsbok. For lenge siden møttes to unge mennesker, han med røtter i en fri og uformell musikerfamilie, hun med et annet og mer konservativt utgangspunkt. Men dette stoppet ikke Noah og Allie fra å tilbringe en uforglemmelig sommer sammen. Før de igjen måtte skille lag, først for å etterkomme foreldrenes ønsker, deretter som følge av at den andre verdenskrig plutselig gjorde seg gjeldende. Når krigen er slutt, og soldatene vender hjem, er alt annerledes. Allie er gift med en suksessfull forretningsmann, mens Noah lever alene med sine minner. I et 200-år gammelt hus han bruker all sin kjærlighet på å restaurere. Men når Allie leser en artikkel i lokalavisen om Noahs arbeide, da skjønner hun at hun må ta en viktig avgjørelse, en gang for alle. Om hvilken vei hennes liv og hjerte skal følge...