綾城は元弘年間に足利尊氏（あしかがたかうじ）の家臣：細川小四郎義門(ほそかわこしろうよしかど)がこの地に下向を命じられた際に 築城した。
尚、細川氏はその後に綾氏性を名乗っている。
綾氏は長くこの城の城主をつとめるも伊東氏が日向で力を付けると伊東氏に従う。
綾城は伊東氏四十八城の一つに数えられるが、天正五年に薩摩：島津氏との戦いで伊東氏が敗退すると伊東氏は豊後に逃走し日向一帯は島津氏の領土となってしまう。
その後、豊臣秀吉の九州征伐が行われると城主をかえながら元和元年を迎え一国一城令により綾城は廃城となった。

現在の綾城は歴史資料館となっており模擬天守が建っている。
二層櫓の上に望桜が建っている特殊な城として有名でお城マニアが多く入城している。
この城の見所は戦国時代前の城の造りを思わせる事だろう。
模擬天守なのでどこまでが現存なのか分からないが自然に囲まれた城を堪能するのも悪くないだろう。