元禄時代、幕府の御用商人として栄華を極めた豪商紀伊国屋文左衛門の屋敷跡といわれています。実際に行ってみるとガイドブックの写真から想像するよりずっと良い所です。文左衛門も最期は落ちぶれて浅草寺の裏に隠れ住み、みじめな死に方をしたと伝わっています。

文左衛門が活躍したのは「生類憐れみの令」で有名な将軍綱吉の時代で、当時は土木工事が盛んだったため、材木の値段が暴騰し、檜一寸四方の値が同じ重さの金の倍になったこともあったそうです。このために紀伊国屋文左衛門のような材木を扱う商人は巨万の富を得ました。このような状態だったので国の財を分かち取って私腹を肥やす者も少なくなかったそうです。当時の工事はすべて入札制でしたが入札にあたって商人は工事の額に応じた額の金を奉行に納めるのが慣例でした。それで通常ならば百両でできることも、幕府の工事となれば一万両もださなければ完成しないというようなことになったようです。新井白石は、元禄時代に幕府財政が窮乏に陥ったのは、主として、この入札制による役人と商人の腐敗した関係にあると痛論しました。将軍綱吉が死去すると勘定奉行の萩原重秀も失脚し、これに伴って文左衛門も没落し、晩年は浅草寺の裏に隠れ住み、みじめな死に方をしたという話が伝わっています。（以上、中公文庫の日本の歴史第１６巻を参照しました）