Le château, lié à l’histoire de la baronnie d’Apcher, a été érigé au XIIè siècle. Sa situation stratégique en a fait une des places fortes de la baronnerie qui s’étendait entre Bès et Truyère et qui permettait de se défendre contre les Comtes de Rodez. Des passages souterrains auraient même relié le sites d’Arzenc d’Apcher, du Château de Fournels et de Montaleyrac… Selon la légende, une affaire de sorcellerie s’y déroula au temps de l’Évêque Lordet en 1347 : Guérin VI d’Apcher, en conflit avec l’Évêque de Mende, voulut le faire envoûter par un religieux défroqué, qui occulta envers l’évêque un rite vaudou.

Le Folklore d’Arzenc-d’Apcher est riche de deux légendes : « Lou roc de la brouziduro », rocher hanté par le souvenir d’une jeune fille qui s’y tua pour échapper au fils du chatelain et « Lou pas del Nobi » qui désigne un passage périlleux sur le Bès où un jeune marié se noya.