岩石城は保元三年に太宰大弐となった平清盛が築城し大庭平三景親が城主となったのが始まりだと云われている。
承久三年に豊後：大友氏の抱城となると筑前：大内氏との間で争奪戦が激しさを増し正平二十三・往安元年に大内氏の家臣：熊井右近将監親盛が入城して大内氏の居城となる。
だが永禄年間に大友氏に攻め落とされ再度大友氏の居城となるが、応永五年にまたも大内氏が岩石城を奪還し大庭景忠(おおばかげただ)が城主となり大庭氏の居城となる。
その後も城主がかわる岩石城だが豊前・豊後の国境沿いに位置する為、戦略上の拠点として争いが絶えなかった。
しかし薩摩：島津氏が「耳川の戦い」で大友氏を粉砕すると島津氏が九州制覇を実行に移し大友領に侵攻すると岩石城も島津氏の占領下となる。
これに対し大友宗麟は豊臣秀吉に救援を要請し天正十五年に秀吉による九州征伐軍が九州へ上陸するがその際に拠点となったのが岩石城であった。
島津氏は秋月種実(あきづきたねざね)がこの城を出城として三千の兵で籠城すると豊前有数の堅城岩石城に秀吉軍も大苦戦をするが最後は兵力の差を見せつけ落城させ岩石城は廃城となり歴史から消えていった。

現在の岩石城（添田美術館）は山中腹に模擬天守があり岩石山の途中に立ち寄る城好きの方が多数いる。
この模擬天守はスロープカーが設備されており麓からそのスロープカーに乗って天守閣まで行くのも良いだろう（ちなみに道路も整備されているので車でも行ける）
復興天守は健康センターと美術館になっており美術館には秀吉の岩石城攻略時に立て篭もった秋月氏家臣の鎧などが展示されている。