Lee er en vaktmester fra Boston som drar tilbake til hjembyen Manchester-by-the-Sea for å ta seg av sin 16 år gamle nevø Patrick da storebroren Joe dør. Der blir han minnet på fortiden og det som tvang ham til å bryte opp med kona og samfunnet han ble født og vokste opp i. Sammen må Lee og Patrick kjempe for å tilpasse seg en verden uten Joe.