虎倉城は金川城主：松田氏の重臣である伊賀氏が築城したと云われているが、服部伊勢守が築城したとも云われている。
築城後は伊賀氏が居城していたが、宇喜多直家が備前で勢力を増す中、伊賀氏は宇喜多氏と婚姻関係となり、永禄十一年には直家に従い、松田氏を滅びした。
天正八年には毛利氏が備前へ侵攻すると虎倉城も攻撃を受けるが、落城には至らなかった。
直家にとって、伊賀氏は有力な武将であったが、徐々に伊賀氏が邪魔となり、暗殺を謀るが未遂に終わる。
この暗殺未遂により伊賀氏は虎倉城に立て籠もるが、天正九年に伊賀久隆が急死すると、その息子の与三郎は毛利氏へ寝返り直家に徹底抗戦を行うが、天正十二年に毛利氏を頼り備中へ退散した。
虎倉城は直家の領土となり、宇喜多氏の重臣：長船貞親が居城した。
だが天正十六年の年始の祝いの席で貞親は、妹婿により鉄砲で撃たれると、その騒動により城は焼失し虎倉城は廃城となった。

現在の虎倉城址は虎倉山山頂に遺構を残している。
この城の登山道は「虎倉」のバス停から案内板があり、その案内板通りに進むと林道となり、その更に奥に登山道入り口がある。
その登山道だが、お世辞にも整備されているとは言えず急勾配な坂道を登る事になるので、登山準備は万全にして行く事をお勧めする。
登山道を登っていくと、伊賀氏の供養塔がある出丸へ進み、そこから東進すると、空堀を確認する事が出来る。この空堀から更に東へ進むと二の丸に到着し、その二の丸横に本丸跡が残されていた。本丸は曲輪が確認出来、虎倉城の石碑が建っている。
二の丸は更に進むと出丸跡と石垣が残されているようだが、現在は竹藪となっており進む事が出来なかった。
また、伊賀氏の供養塔がある出丸までの登山道にも石垣があるみたいだが、これも確認する事が出来なかった。