Som namnet anger har platsen militärhistorisk tradition. På Skansenbergets krön, ungefär vid nuvarande Håsjöstapeln, lät Karl XIV Johan på 1810-talet anlägga en skans, en liten befästning till lekplats för sonen, sedermera kung Oscar I.
En annan markägare i området, den förmögne grosshandlaren och varvsägaren John Burgman byggde på 1820-talet sig ett sommarställe på Skansenberget, en så kallad Fåfänga. Den ingår som kärnan i det nuvarande Skansenhuset Sagaliden ovanför Hazeliusporten. Namnet Fåfänga var inte ovanligt i folkmun på högt belägna byggnader med vidsträckt utsikt. Den franska motsvarigheten till sådana ställen hette foliers, ”dårskaper”.
Den vackra utsikten från Skansenberget var också orsak till att Bredablickstornet kom till 1874-1876. Byggherre var Oscar II:s livmedicus Fredrik Adolf Wästfelt. Han planerade också att anlägga en bad- och brunnspark i anslutning till tornet, men hans privatekonomi tillät inte detta. I det höga tegeltornet inrymdes däremot en uppskattad matservering. Skansenområdet arrenderades 1891 av Artur Hazelius som därmed lade grunden till dagens stora friluftsmuseum.
