Парк заложили в 1906 году во времена японской оккупации южной части Сахалина. На месте села Владимировка строилась новая столица префектуры Карафуто — Тоёхара. На речке Тамагава (ныне Рогатка) были построены две дамбы. Одна из них образовала пруд Мидзухара (городское водохранилище), другая — пруд, который позднее получил название Одзи.
По одной из версий, он был необходим для обеспечения водой завода по производству бумаги. Фирма существует и по сию пору и называется Oji Paper Company. В её названии есть слово «одзи», и пруд получил имя в честь этой компании. Позднее искусственное озеро предприятие подарило Тоёхаре.
— Это был 1936 год. Карафуто праздновал 30-летие освоения Южного Сахалина. Была устроена выставка, посвящённая достижениям экономики и культуры. Так вот, стела была поставлена к этой выставке. И на ней было написано, что это Одзи Га и Ко, то есть пруд Одзи. А на обратной стороне были высечены следующие слова: «Площадь пруда 20 тысяч цубо (цубо — японская мера длины, равна 3,3 квадратных метра — прим. ред.). Он раскинулся у подножия горы, овеянной божественным ветром», — рассказала экскурсовод Лариса Орехова.
По другой версии, пруд городу подарил наследный принц, ставший позднее императором Хирохито. В 1925 году он был с визитом в Карафуто. Водоём могли назвать и в честь этого события, так как слово «одзи» переводится с японского языка как «принц».
В 1947 году после проливных дождей река Рогатка вышла из берегов, смыла дамбы и мосты. Водоём восстанавливали всем миром, на работу выходили предприятия, подключились военные. Скромный пруд Одзи стали именовать озером Верхним. Правда, краевед Сергей Федорчук в своей книге написал, что в 50-х годах прошлого века его чаще называли Лебединым. Однако лебеди не прижились и «птичье» имя в названии пруда не закрепилось.
Вторым испытанием стал разрушительный тайфун «Филлис». В 1981 году ливневые дожди и ураганный ветер полностью разрушили парк. Бурные потоки Рогатки прорвали дамбы, снесли мостики и лодочный причал. Верхний пруд перестал существовать, а его котловину завалили ил и мусор. Немало времени ушло, чтобы ликвидировать разрушения, учинённые «Филлисом». Но и с этой бедой справились.
Позднее были проведены работы, которые позволяют регулировать уровень в озере, чтобы избежать выхода воды из берегов. Ещё одна неприятность случилась в 2014 году. Ураганный ветер повалил столетнюю яблоню, росшую на берегу Верхнего, дерево погибло.
Все дорожки и тропинки в парке ведут к главному водоёму. Здесь можно послушать шум падающей воды на террасе кафе, проводить в недолгий путь состав детской железной дороги, у пруда его главный «вокзал». Можно устроить фотосессию у скульптуры сивуча или у каравеллы «Санта-Мария». Кстати, парусник был подарен к 125-летию Южно-Сахалинска жителем села Охотского Александром Медведевым. Так у Верхнего озера появилась уменьшенная копия корабля Христофора Колумба.
Как известно, парк носит имя первого космонавта Земли. Скульптура Юрия Гагарина на высоком постаменте встречает посетителей со стороны улицы Комсомольской.
Краеведы утверждают, что памятник первопроходцу космоса установили на постамент времён Карафуто. Японцы водрузили на него скульптуру божества воды, потому что рядом течёт речка Тамагава (в переводе с японского языка «божество»).
По словам экскурсовода Ларисы Ореховой, в 1947 году к 70-летию Иосифа Сталина здесь была поставлена его скульптура. Она простояла определённое время, а в период развенчания культа личности памятник сняли.
Несколько лет постамент стоял пустой. В 1968 году на нём установили скульптуру Гагарина, и в этом же году парку присвоили имя первого космонавта. Городской ПКиО Южно-Сахалинска считается одним из самых крупных на Дальнем Востоке. То, что связано, с его «водным миром» — только часть большой и интересной территории отдыха и развлечения сахалинцев.