Na vzpetini Krancelj, pod katerim stoji današnji Loški grad, je v srednjem veku stal grad, imenovan Zgornji stolp. S skrbno izbrano razgledno lego je imel nadzor nad širšo okolico mesta in je skupaj z Loškim gradom in gradom Divja Loka sestavljal obrambno mrežo mesta in okolice. Prvi pisni viri omenjajo grad leta 1315, njegova značilna gradnja v plasteh pa priča, da izvira še iz obdobja romanike, iz 12. stoletja. Še danes dobro vidni temelji tega skoraj kvadratnega stolpa, obdanega z debelim obzidjem, globokim jarkom in dvižnim mostom, nakazujejo na okoli 30 m visoki stolp. Arheologi so tu odkrili zidano ognjišče, ostanke vodne cisterne in temelje dveh manjših stavb, ki pričajo o stalni naselitvi. V njem je bival uslužbenec Freisinškega škofa, imenovan gradiščan, skupaj s svojimi vitezi, ki so varovali mesto, posredno pa tudi celotno zemljiško gospostvo. V njegovi okolici so arheologi našli veliko predmetov za vsakdanjo rabo, med drugim keramično posodje, železno orodje in orožje, izdelke iz stekla in zanimiv svečnik v obliki srednjeveškega paža, ki danes služi kot simbol tematske Poti treh gradov. Vse najdbe so na ogled v Loškem muzeju.