Il castello, costruito alla fine del Trecento secondo la tradizione da Giovanni Da Varano detto Spaccaferro, ma è probabile che esistesse già e Giovanni lo ingrandisse e fortificasse negli anni tra il 1370 e 1380, inserendolo nel complesso sistema difensivo di rocche e castelli a protezione di Camerino il "sistema castellare del Chienti". Nella seconda metà del XIV secolo viene trasformato in una sontuosa villa rinascimentale (una poderosa costruzione in arenaria), da Giulio Cesare da Varano che vi insediò la propria corte. Beldiletto ebbe sempre nella sua storia la doppia funzione di residenza ufficiale e privata e fu teatro di molti eventi storici e politici.

Oltre che per azioni di guerra e diplomatiche il castello fu anche luogo di vicende di amore cortese: quello non corrisposto di Giulio Cesare da Varano con Madonna Pierozzi e quelli del poeta Agnolo Pierozzi con Camilla da Varano. Di tali vicende resta traccia nella decorazione pittorica al piano superiore in cui è rappresentato in vari ambienti in modo molteplice e diffuso il frutto della pera (il frutto della pera è richiamato nello scudo della famiglia Pierozzi, Perretti o Perozzi).

La struttura del Castello di Beldiletto era originariamente circondata da un largo e profondo fossato alimentato dalle acque del fiume Chienti; la pianta dell'edificio è di forma quadrangolare con un unico accesso con un androne con volta a botte, con torri a base quadrata in tutti gli angoli. Al suo interno si apre una corte con un loggiato, con pilastri ottagonali e con archi a sesto acuto in pietra bianca e rossa.

Nella sala più grande del castello sono visibili i resti di un vasto ciclo di affreschi del XV secolo raffigurante dei cavalieri, tra cui Roberto il Guiscardo, suo figlio Ruggero, re di Napoli e Tancredi d’Altavilla, che rimanda alla cultura dei poemi cavallereschi.