Sankt Andreasberg liegt zwischen Braunlage im Osten, Herzberg am Harz im Westen, Bad Lauterberg im Süden sowie Clausthal-Zellerfeld und Altenau im Nordwesten im Naturpark Harz am Rand des Nationalparks Harz. Die Bergstadt befindet sich direkt südlich der an der Jordanshöhe gelegenen Quelle der Sperrlutter (nahe den Glückaufklippen), welche die Stadt unmittelbar westlich passiert und nach Süden der Oder zufließt. In diese mündet beim südöstlichen Stadtteil Oderhaus die Trutenbeek. In einem südlichen Halbkreis wird das Ortsgebiet vom Galgenberg (594,3 m), Glockenberg (627 m), Matthias-Schmidt-Berg (663 m) sowie dem Beerberg (658,1 m) eingerahmt und erstreckt sich im Norden hinauf zur Jordanshöhe (723 m). In dieser Richtung befinden sich beim etwas entfernten Ortsteil Sonnenberg unter anderem die beiden Sonnenberge (max. 853,4 m) und der Rehberg (893 m). Nahe Oderhaus befindet sich der Schloßkopf (623,5 m). Aufgrund ihrer topografischen Lage am oberen Ende des langgestreckten Sperrluttertals besteht Annerschbarrich, so der einheimische Name, aus der Unterstadt (500–590 m ü. NN) – Altstadt, Punkt der Stadtgründung – und der Oberstadt (590–720 m). Die Bergstadt ist umgeben von unter Naturschutz stehenden Bergwiesen, Wäldern und Bergen. Aufgrund der Höhenlage sind Sankt Andreasberg (520–720 m) und Sonnenberg (800–850 m) auch heute noch einigermaßen schneesicher. Sankt Andreasberg ist ein alpines Skizentrum des Harzes, mit drei Schleppliften am Sonnenberg sowie zwei Doppelsesselbahnen und noch zwei von ursprünglich drei Schleppliften am „Skizentrum Matthias-Schmidt-Berg“, an dem auch eine Sommerrodelbahn zur Verfügung steht. Zusätzlich bietet dieser Berg seit 2013 mit dem MSB-X-Trail einen Mountainbike-Downhill-Parcours mit sechs Strecken. Im Teichtal befindet sich die erste Snowtubingbahn des Harzes. Das Loipensystem um Sankt Andreasberg umfasst 40 km und bietet am Sonnenberg Anschluss nach Oderbrück/Torfhaus und zur Ackerloipe/Altenau. Nordic Walking, Wandern, Mountain-Biking und Trekking sind beliebte Sommersportarten in der ruhigen Umgebung der Bergstadt Sankt Andreasberg. Im Kurpark befindet sich auch ein Hochseilgarten/Kletterpark. Der Oderteich im Nationalpark Harz steht im Sommer als Naturbademöglichkeit in seinem südlichen Teil zur Verfügung. Von Torfhaus und Oderteich kommend, durchläuft die Brocken-Umgehungs-Route des knapp 100 km langen Harzer Hexenstieges den Ort und führt über Braunlage weiter nach Thale.