主屋は単層入母屋造りの壮大な建物で、「小屋組づくり」と呼ばれる幾何学的な屋根裏の木組みは、今日でいう免震構造になっています。三和土の土間には立ち木をそのまま柱にしたと伝えられる「生き柱」や、日蓮直筆の「比伏せの護符」を納めた棟札箱が見られます。これまで一度も火災にあっていないことから、文書類・書画・武具を始めとする様々な品が残っており、その一部は屋内に展示されています。

江川家は42代・900年続く大和源氏の末裔で、江戸時代には旗本として11代273年間、天領伊豆の代官を務めました。歴代の代官はいずれも治安維持と民政に意を注ぎ、百姓一揆は一度も起きていません。特に36代江川太郎左衛門（坦庵）は名代官として知られ、海防の必要性から沿岸測量、韮山反射炉やお台場の建設、わが国最初の様式帆船建造や種痘の実施、パン製造など多大な業績を残しました。邸内には「パン祖の碑」が立てられています。