Выборгский замок был основан шведами в 1293 году, в ходе Третьего крестового похода на Карельскую землю, по средневековой русской терминологии: на землю племени Корела — союзника Великого Новгорода.
Как показали археологические раскопки 1980-х годов, ранее на Замковом острове располагался укреплённый пункт карел, разрушенный взявшими его шведами.
По решению регента шведского короля Торгильса Кнутссона, на Замковом острове построен был мощный замок, получивший название Выборг.
Шведы окружили возвышенную часть острова стеной, а в центре возвели каменную башню, квадратную в плане. Высокая дозорная и боевая башня наречена была в честь норвежского короля, крестителя Скандинавии Олафа Святого.
Башня эта долгое время считалась самым высоким донжоном Скандинавии. Толщина крепостных стен составляла 1,5—2 метра, а толщина стен башни — 4 м.
Сверху стены завершались зубцами, а по периметру шла навесная деревянная галерея, боевой ход. Выборгский замок стал центром Выборгского лена, надёжным форпостом распространения шведского влияния на земли Карельского перешейка, оставаясь неприступным вплоть до 1710 года.
Восстановление и реконструкция замка были проведены в 1891 — 1894 годах российским Военно-инженерным ведомством, под руководством инженер-полковника Э. фон Лезедова. Внешние очертания замка почти не изменились.
У входа в башню было построено гранитное крыльцо, а внутри башни — металлическая лестница для подъёма на смотровую площадку. В таком виде замок дошёл до наших дней.
Во время войн 1939—1944 годов замок пострадал не сильно, разве что от нескольких пожаров, и после победы был передан советским военным.
В 1964 году министерство обороны СССР передало замок под будущий музей, который открылся в 1970 году.
5 сентября 2018 года археологи при раскопках в Выборгском замке нашли кирпич XVI века, который служил игровым полем для настольной логической игры наподобие нардов, шашек.
С 2017 года на территории Замкового острова ведутся ремонтно-реставрационные работы, которые будут продолжаться вплоть до 2028—2029 годов.
Видео крепости: