平治の乱に敗れた源頼朝は、平清盛に継母・池禅尼の命乞いによって伊豆の蛭ケ小島に配流され、1160（永暦元）年2月の14歳の少年期から、1180（治承4）年8月に旗挙げする34歳までの20年間をこの地で過ごしたとされます。流人とはいえ、その監視は比較的ゆるやかであったと思われ、伊東祐親の娘・八重姫との恋、北条政子との結婚のほか、箱根・伊豆山・三島の三社詣、天城山での巻狩りなどの伝承も残されています。

当時の蛭ヶ島は洪水の度に田方平野を縦横に流れていたであろう狩野川の中州、あるいは湿田の中の微高地（田島）であったと考えられます。他にも蛭ヶ小島と称する中州がある中で一番小さかったことから後年「蛭ヶ小島」と呼ばれるようになったものとも考えられています。

江戸時代の末に伊豆の地誌「豆州志稿」を著わした秋山富南が、この場所を頼朝配流の地と考証したことを記念する」蛭島碑記」（町指定文化財）が立っています。周辺の公園整備が進む中で平成16年3月18日、富士に向かって頼朝と政子が寄り添って立つブロンズ像「蛭ケ島の夫婦（ふたり）」が除幕されました。