Der Burgkern entstand offenbar bereits im 13. Jahrhundert in Form eines Wachturms an einer geeigneten Stelle zum Schutz des Handelsweges, der die Städte Sušice und Horažďovice verband. Über die ersten Besitzer der Burg gibt es keine schriftlichen Aufzeichnungen. Die neueste Hypothese der Historiker ist die Verortung des romanischen Burgfundaments als nördlichster Teil des Besitzes der Grafen von Bogen und später der Wittelsbacher. Erst gegen Ende des Jahrhunderts wurde dieses Gebiet wahrscheinlich wieder Teil des böhmischen Staates. Es wird vermutet, dass die Burg zu dieser Zeit, noch immer nur in Form eines Wohn-Wehrturms, von den Herren von Velhartice bewohnt wurde. In die schriftliche Geschichte tritt Rábí erst viel später ein, im Jahr 1380, als die Brüder Brenek und Půta von Rýzmberk dieses Gebiet durch Kauf oder durch Verwandtschaftsbeziehungen erwarben. 1407 erbten die Söhne Breneks die Herrschaft, vor allem Jan von Rýzmberk, der als Gegner der Hussiten bekannt war. Daher belagerten und eroberten die husitischen Heere die Burg zweimal (beim zweiten Angriff verlor Jan Žižka hier sein zweites Auge). Nach Jans Tod fiel Rábí an Vilém d. J. von Rýzmberk und später an seinen Neffen Půta II. Švihovský von Rýzmberk, der dank seines ungeheuren Reichtums und seiner einflussreichen Stellung für einen beispiellosen Bauboom des Objekts sorgte (der Umbau erfolgte wahrscheinlich unter Beteiligung des bedeutenden Architekten Benedikt Ried). Zu seinen Lebzeiten erhielt Rábí seine endgültige Gestalt und wurde gleichzeitig zum Mittelpunkt der Rýzmberk-Herrschaft im Gebiet des oberen Otava-Tals.

Půtas Söhne waren jedoch gezwungen, das Familienvermögen zu verkaufen, und so wechselte die Burg in der folgenden Zeit häufig ihre Besitzer. 1570 erwarb sie Adam Chanovský von Dlouhá Ves, dessen Geschlecht sie bis zum ersten Jahrzehnt des 18. Jahrhunderts in seinem Besitz behielt. Damals ging das Objekt, bereits stark verfallen und unbewohnt, in den Besitz des Adelsgeschlechts der Lamberg über, die die Ruine 1920 dem Verein zum Erhalt der künstlerischen, historischen und natürlichen Denkmäler in Horažďovice schenkten. 1954 wurde die Burg in die Hände des Staates übergeben und 1978 zum Nationalen Kulturdenkmal erklärt.

Benedikt Ried (ca. 1454–1534) war südeutscher Herkunft. Ab 1489 war er auf der Prager Burg tätig, wo er später Hans Spiess als Hof-„Werkmeister" ablöste. Er baute hier den Königspalast um, in dem er vor allem den Vladislav-Saal, die Reitertreppe und den Ludwig-Flügel errichtete. Rieds Werk ist auch die neue Artilleriebefestigung. In der Prager Hofhütte wurden unter seiner Leitung zahlreiche Steinmetze und Baumeister ausgebildet (W. Roskopf und andere). Als Befestigungsexperten, der Urheber einiger der durchdachtesten und vollkommensten Artilleriesysteme der böhmischen Spätgotik ist, die eine aktive Verteidigung ermöglichen, setzten die Herren von Rýzmberk Ried vor allem beim Bau der äußeren Befestigungen der Burgen Švihov und Rábí ein. In der späteren Phase seines Schaffens wurde er auch vom Werk des Arnold von Westfalen beeinflusst, wie der Palast in Blatná belegt. Außerhalb des heutigen tschechischen Gebiets errichtete er zum Beispiel für den Sohn von Georg von Podiebrad, Fürst Hynek von Münsterberg, die großartige vierflügelige Burg Frankenstein (Polen).