毘沙門岳城は正平年間に懐良親王(かねよししんのう)により築城され「筑後川の戦い」では懐良親王の本拠として使用された。
文中元・応安五年に親王は肥後の菊池武光(きくちたけみつ)と共に毘沙門岳城に征西府を置き南朝方の本拠とした。
その後の使用は不明で廃城年代など分かっていない。

現在の毘沙門岳城址は高良山山頂付近に遺構を残している。
「つつじ公園」から高良山を目指して登るとすぐに城跡の縄張り図があり曲輪・堀切・土塁などが確認できる。
山頂からは筑後地方を一望でき絶景の場所となっている。