人吉城は元久二年に源頼朝に仕えていた相良長頼(さがらながより)が肥後人吉の地頭に任ぜられるも人吉には平清盛の家臣：矢瀬主馬佑が支配していた為に長頼は主馬佑を謀殺し主馬佑の居城を拡張したのが始まりだと云われている。
その後も小競り合いは続いたが相良氏の居城として栄え天正年間に城の大幅な修繕を行っている。
だが天正九年に島津氏の九州制覇の軍と戦うも相良氏は敗れ降伏してしまう。
しかし天正十五年の豊臣秀吉による九州征伐で相良頼房(さがらよりふさ)が秀吉相手に奮戦することで頼房の家臣：深水長智(ふかみながとも)が秀吉と降伏による交渉を行い人吉の所領を安堵する事で大名に返り咲いた。
その後、人吉城は大規模な修繕作業を行うも完成は寛永十六年とかなりの時間を要した。
小大名ながら人吉に拠点を置いた相良氏は鎌倉時代初頭、この地の地頭に任ぜられその後戦国大名に成長し江戸時代に入っても領主として存続し明治時代までこの地を動くことはなかった。

現在の人吉城は「人吉城公園」となっており復元櫓などが遺構として残っている。
球磨川沿いにある天然の要塞で石垣等が良好な形で残り武者返しも確認できた。
遺構としてはかなりの規模を誇っている。
また復元櫓内は歴史資料館もとなっており人吉の歴史を見る事ができる。
麓には本丸御殿址や武家屋敷も残っていた。

人吉城歴史館

人吉市公式ウェブサイト