I 1859 var H.C. Andersen på Jyllandsrejse og besøgte bl.a. Børglum Kloster, hvor han opholdt sig i 11 dage. I 1861 skrev han "Bispen paa Børglum og hans Frænde". "Oppe paa Sandhøiden ligger en stor, gammel Gaard, det er Børglum Kloster, den største Fløi er endnu Kirken ... Nu ere vi deroppe, nu rumle vi ind mellem Lo og Lade, og svinge om, ind ad Porten til den gamle Borggaard, hvor Lindetræerne staae i Række langs Muren; ... De gamle, afdøde Kanniker, siger man, glide stille forbi os ind i Kirken, hvor Messen synges, man kan høre det i Vindens Suus;"
I "Mit liv eventyr", 1855, skrev H.C. Andersen: "Det spøger paa Børglum", havde man sagt mig i Aalborg. I en bestemt Stue viiste de afdøde Kanniker sig, sagde man, og man forsikkrede mig, at Stiftets Biskop selv havde seet dem. Jeg vover ikke at benægte Muligheden af en Forbindelse mellem Aande- og Legemverdenen, men jeg troer ikke med Forvisning paa den. Vor Tilværelse, Verden i og om os, er et heelt Underværk, men vi ere saa vante dertil, at vi kalde det naturligt. Alt holdes og bæres ved store Naturlove, Fornuftlove, Love, der ligge i Guds Almagt, Viisdom og Godhed, og jeg troer ikke paa Afvigelser fra disse. Efter at jeg den første Nat havde sovet paa Børglum-Kloster, kunde jeg ved Frokostbordet ikke undlade at spørge Huusherren og hans Frue, i hvilket Værelse her paa Gaarden Biskoppen havde sovet og Spøgelserne viiste sig. Man spurgte, om jeg havde Frygt, og tilføiede, at det var netop i mit Værelse, at de afdøde Kanniker havde viist sig. Det Første, jeg nu havde at gjøre, var at gaae derhen og undersøge Værelset fra Gulv til Loft; ja jeg gik ud i Gaarden, betragtede nøie alle Omgivelser og kravlede op til Vinduerne for at komme efter, om Stedet egnede sig til at arrangere Spøgelse-Scener; jeg vidste ikke, om man her, ligesom paa andre Herregaarde, rigtignok i min tidligste Ungdom, havde Morskab med at arrangere spøgefulde Nattescener. Men jeg opdagede Intet, og jeg sov den Nat og flere Nætter i Ro og Tryghed.

En Aften kom jeg tidligere tilsengs end sædvanligt og vaagnede nu kort efter Midnat med et underligt Kuldegys; jeg følte mig uhyggelig tilmode, tænkte paa de omtalte Spøgelser, men sagde til mig selv, hvor taabelig dog denne Frygt var, hvorfor skulde her de hvide Kanniker vise sig for mig. Havde jeg ikke, da jeg endnu levede i Uvished om Henriette Wulffs Død*, bedet inderligt til Gud, at det maatte forundes mig, om Sligt var muligt, at erholde et synligt eller hørligt Tegn paa, at hun var mellem de Henfarne; men Intet viiste sig, Intet fornam jeg.
Disse Tanker løftede mig ud af min Betagethed, men i samme Øieblik saae jeg i den bageste, mørkeste Deel af Værelset en Taageskikkelse som et Menneske. Jeg saae og saae, det isnede gjennem mig; det var ikke til at holde ud. Jeg har en dobbelt Natur: Frygtsomhed og Trang til at vide og forstaae. Jeg sprang ud af Sengen, løb mod Taagebilledet og saae nu nærved, at den blanke, ferniserede Dør, hvis to fremspringende Afsatser bleve belyste fra et Speil, der igjen gjennem Vinduet fik Lys fra den klare Sommernat, formede nogenlunde en Menneskeskikkelse. Det var Spøgeriet, jeg saae paa Børglum."
*H.C. Andersens brevveninde Henriette Wulff (1804-1858) ville emigrere til Amerika, og på vejen dertil omkom hun på udvandrerdamperen "SS Austria", der brændende forliste i Atlanterhavet.