Haruto Kirishima prowadził spokojne życie na wsi, daleko od szybkiego tempa miasta. Wtedy nagle w jego życiu pojawiła się Yuzuki Eba, która przybyła z Tokio, aby przez krótki czas przebywać u swojej rodziny. Wspólnie spędzony czas sprawił, że został oczarowany wspomnieniami z tego krótkiego okresu, zanim tak samo nagle zniknęła z jego życia, pozostawiając go z wieloma nierozwiązanymi pytaniami. Kimi no Iru Machi rozpoczyna się jakiś czas później, gdy Haruto przeprowadza się do Tokio, aby mieszkać ze swoją siostrą i realizować karierę kucharza. W rzeczywistości jednak pragnie być z Yuzuki. Sprawy nie zaczynają się jednak dobrze. Po przybyciu mylnie uznawany jest za włamywacza i atakowany przez sąsiadkę swojej siostry, Asukę Mishimę. Nawet po wyjaśnieniu nieporozumienia, jego uczucia zaczynają się chwiać. Czy Eba, która nadal unika go bez widocznego powodu, jest tą właściwą dla niego, czy może Asuka?