元和五年（一六一九）広島五十万石の大大名から高いの四万五千石に転封を命じられ、寛永元年（一六二四）七月一三日、堀之内館において、享年六十四歳で波乱の生涯を閉じました。

遺骸は、幕府検史役の到着が遅れるなか、家老津田四郎兵衛の計らいで、高井野（現高山村堀之内）のこの地で荼毘（火葬）に付された。
幕府はこれを咎めて、近領二万五〇〇〇石を没収したそうです。

今は田んぼの中にあります。