Il Castello di Fénis si trova in un punto del tutto privo di difese naturali. Questo porta a pensare che la sua funzione fosse soprattutto di prestigiosa sede amministrativa della famiglia Challant-Fénis e che anche la doppia cinta muraria servisse soprattutto in funzione ostentativa, per intimidire e stupire la popolazione.

La maggior parte dei lavori di costruzione, che hanno portato il castello ad assumere l'aspetto attuale, ebbero luogo tra il 1320 e il 1420 circa . Aimone di Challant ereditò il feudo e il castello di Fénis dal nonno Ebalo Magno nel 1337 e nel 1340 diede inizio a una prima campagna di lavori, realizzando un corpo abitativo centrale di forma pentagonale,  ottenuto probabilmente inglobando edifici preesistenti, e la cinta muraria esterna.

Rispetto all'aspetto attuale, ai tempi di Aimone mancava ancora la torre meridionale e l'interno del castello era molto diverso. Il cortile centrale era molto più ampio e privo dello scalone in pietra, fiancheggiato a nord e a sud da due lunghi corpi di fabbrica che terminavano contro il muro occidentale. Doveva inoltre mancare completamente il secondo piano dell'edificio.

Nuovi lavori di costruzione furono voluti da Bonifacio I di Challant, figlio di Aimone, che ereditò il castello dal padre nel 1387. Dopo aver ricoperto per due anni la carica di ispettore delle fortificazioni alla corte dei Savoia, nel 1392 Bonifacio diede inizio a una nuova grande campagna di costruzioni nel maniero, in modo da adattarlo ai nuovi standard della vita cortese. Durante questa campagna edilizia furono riallineati i piani del corpo centrale e venne costruito un nuovo piano ricavandolo dal sottotetto. Fu inoltre costruito un nuovo corpo di fabbrica a ovest, facendo assumere al cortile interno l'aspetto attuale, con due piani di ballatoi in legno e il grande scalone in pietra semicircolare. Durante il feudo di Bonifacio I il castello raggiunse il suo massimo splendore e a lui si devono anche gli affreschi del cortile interno e della cappella, commissionati al pittore piemontese Giacomo Jaquerio, maestro del gotico internazionale, e realizzati tra il 1414 e il 1430.