治承4年（1180）8月17日の夜、源頼朝は以仁王（もちひとおう）の令旨を受け、目代平兼隆（もくだいたいらかねたか）の屋敷を襲いました。折しも三島大社の例祭の日であり、館の郎党は祭りに出かけて守りが手薄なときでした。一行は真夜中に出発して牛鍬大路（うしくわおおじ）を通り、多田の堤信遠を切り倒した後、天満坂を経て山木館へと向かいました。激戦の末、兼隆の首を討ち取ったのは加藤影廉でした。館に火を付けて、北条屋敷で激戦を待ち焦がれている頼朝への知らせとし、これが源氏再興ののろしとなりました。
屋敷跡からは、天満坂、堤信遠屋敷、牛鍬大路方面を見渡すことができます。