大蔵谷城は嘉吉元年に赤松祐尚が築城したと云われている。
嘉吉元年に起きた足利氏六代将軍：義教の暗殺事件「嘉吉の乱」の実行犯である 赤松満祐(あかまつみつすけ)は、兄弟の祐尚と共に幕府軍に備えこの地に城を築城し陣を構えたとされる。
だが幕府軍の猛攻の前に赤松一族は自害してしまう。
しかし長禄二年に赤松氏末裔：政則によって赤松氏は復興する事となる。

現在の大蔵谷城址は大蔵院が跡地となっている。
大蔵院入口に案内板が立っており、訪問日は院内で工事が行われていた。
赤松祐尚(あかまつすけなお)夫婦の墓がある以外に特段遺構は残っていなかった。
尚、近くには大日本中央標準時子午線通過地標識があるので是非立ち寄って欲しい場所だ。