岩石城は保元三年に太宰大弐となった平清盛が築城し大庭平三景親が城主となったのが始まりだと云われている。
承久三年に豊後：大友氏の抱城となると筑前：大内氏との間で争奪戦が激しさを増し正平二十三・往安元年に大内氏の家臣：熊井右近将監親盛が入城して大内氏の居城となる。
だが永禄年間に大友氏に攻め落とされ再度大友氏の居城となるが、応永五年にまたも大内氏が岩石城を奪還し大庭景忠(おおばかげただ)が城主となり大庭氏の居城となる。
その後も城主がかわる岩石城だが豊前・豊後の国境沿いに位置する為、戦略上の拠点として争いが絶えなかった。
しかし薩摩：島津氏が「耳川の戦い」で大友氏を粉砕すると島津氏が九州制覇を実行に移し大友領に侵攻すると岩石城も島津氏の占領下となる。
これに対し大友宗麟は豊臣秀吉に救援を要請し天正十五年に秀吉による九州征伐軍が九州へ上陸するがその際に拠点となったのが岩石城であった。
島津氏は秋月種実(あきづきたねざね)がこの城を出城として三千の兵で籠城すると豊前有数の堅城岩石城に秀吉軍も大苦戦をするが最後は兵力の差を見せつけ落城させ岩石城は廃城となり歴史から消えていった。

現在の岩石城址は岩石山に曲輪や石垣、井戸跡などが残っているが山の中腹に模擬天守として岩石城が築かれている。
だが模擬天守は本来の岩石城とは無関係でこの岩石山山頂から中腹にかけて遺構を残している城址が岩石城址の由来である。
山頂まではその名に相応しい位の岩山となっておりこの山頂の遺構を見に行くならそれなりの装備をしていく事をお勧めする。
山頂の展望台が天守址でその付近に本丸址地も残っていた。
近くには断崖絶壁の4つに岩があり岩石山のシンボルとなっている。
言い伝えの一つになるが剣豪佐々木小次郎は巌流と呼ばれており、その由来はこの岩石城址からだといわれている所説がある。