許斐岳城は大治年間に宗像氏平が築城したと伝えられている。
その後、宗像氏の一族：許斐氏の居城となるが永禄二年に豊後：大友氏の支援を受けた宗像鎮氏(むなかたしげうじ)が宗像地方に侵攻すると、宗像氏大宮司(むなかただいぐうじ)：宗像氏貞(むなかたうじさだ)は敗走し大島に落ち延び許斐岳城も鎮氏の居城となるが、翌年毛利氏を頼って氏貞が盛り返すと許斐岳城を攻め鎮氏を討ち取ったとされる。
永禄四年には大友氏が許斐岳城に攻め寄せるも籠城戦の末に見事大友氏を撃退した。
だが天正十一年に再度大友氏が侵攻すると宗像氏貞は敗退し許斐岳城も落城し大友氏の領土となった。
最後は天正十五年に宗像氏が断絶となると許斐岳城も廃城になったと云われている。

現在の許斐岳城址は許斐山山頂付近に曲輪や堀切などの遺構を残している。
山頂までは幾つかの登山道がある様だが「このみ公園」側には無料の駐車場もあり登山道も良く整備されている。
山頂付近には馬場跡や、本丸跡、曲輪や堀切が確認できたほか、金魚池と呼ばれる小さな池は周囲が土塁で囲まれており当時用水として使用されていた。
また本丸跡の横にはテレビ塔が建っているがこちらも城址だったと思われる。
許斐山は標高271mと比較的登り易い山の為か多くの登山客が訪れていた。