Замок є найдавнішою і найціннішою історико-архітектурною спорудою міста. Від назви замку Унгвар (замок на річці) найменувалося й місто (на початку XX ст. назва змінена на слов'янське Ужгород).

Перші укріплення на Замковій горі сягають у сиву давнину, — згадки про Ужгородське городище зустрічаються в дуже давніх документах і хроніках.

Про існування укріплення Гунг на час переходу мадярів у кінці ІХ ст. через карпатські перевали у Тисо-Дунайську низовину свідчить й угорський літописець ХІІ ст. Анонім у хроніці "Gesta Hungarorum" ("Діяння угорців"): град над рікою посідав слов'янський князь Лаборець, дружина якого зазнала поразки від угорців, а сам князь, рятуючись втечею, був спійманий на річці і вбитий, від чого і пішла назва річки — Лаборець (нині на території Східної Словаччини в Лаборець впадає р. Уж).

Описи чи зображення тогочасного укріплення не збереглися. Проте відомо, що у VІІІ-ІХ ст. й особливо у Х-ХІ ст. укріплені городища і забудови навколо них (так звані "гради") були поширені у західних і східних слов'ян, зокрема на території Київської Русі.

Ужгородська фортеця як одна з твердинь на кордонах Київської держави мала такі ж особливості, як й інші укріплення давньої Українсько-Руської держави, зокрема в Прикарпатті. Тут, наприклад, стіни, вежі, ворота, мости були з дерева. Фортифікаційна лінія оборони складалася з земляного валу (ширина — 10-12 м, висота — 7-8 м), рову (глибина — 5-6 м) перед ним, а завершувалась дерев'яною огорожею ("граждою").

Міць твердині засвідчує також факт, що у 1086 р. орди половців на чолі з ханом Кутеском так і не змогли оволодіти нею... Відчайдушно оборонялися захисники фортеці в час золотоординської навали навесні 1241 р., але не змогли встояти перед ордою — град та інші будівлі міста були зруйновані.

Після цього спустошливого набігу розпочато будівництво кам'яної фортеці.

Вже у документах 1248 р. згадується новий замок Унг (Унгуйвар), який, однак, був зруйнований у 1326 р.

Подальша доля замку тісно пов'язана з історією Ужгорода. На початку ХІV ст. він належав Ужанському жупану, супротивнику угорського короля Карла Роберта, Петру Петеньку. Після придушення повстання у 1317 р. під проводом Петенька замок через п'ять років було передано італійському аристократичному роду французького походження Другетам, які володіли ним до 1690-х рр., тобто понад 360 років.

У 1692 р. замок став власністю графа Миколи Берчені, чоловіка Крістіни Другет. Микола Берчені, — соратник і друг керівника національно-визвольної війни угорського народу 1703-1711 рр. проти Габсбургів Ференца ІІ Ракоци, — чимало зробив для піднесення в Ужгороді культурного життя.

За час свого існування замок неодноразово зазнавав військових нападів і штурмів. У 1728 р. тут була пожежа, внаслідок якої завдано великої шкоди будівлям, зокрема головному корпусу, третій поверх якого з тих пір не відновлювався.

Протягом 1735-1740 рр. замок перебував у володінні барона Ференца Дюлаї, а по його смерті відійшов до казни.

У 1775 р., на прохання єпископа Андрія Бачинського, австрійська імператриця Марія Терезія передала замок Мукачівській греко-католицькій єпархії, яка з 1780 р. розмістила у ньому богословську семінарію (проіснувала тут до 1945 р.).

Впродовж свого існування фортеця зазнавала багаторазових змін в архітектурі. Зовні замок має вигляд могутньої оборонної споруди у формі неправильного чотирикутника (трапеції), у кожному куті якого розміщені бастіони староіталійського типу. Ця архітектурна особливість характерна для періоду пізнього ренесансу.

Саме в середині ХVІІ ст. архітектурно-будівельний та оборонний розвиток фортеці було завершено, — у такому вигляді замок зберігся до наших днів.

У підземеллях фортеці були каземати. Підвали — найдавніша частина замку, тут можна прослідкувати залишки старих фундаментів.

У палаці нараховується понад 40 приміщень. Найбільший, колись рицарський, зал розміщений на другому поверсі, у ньому відбувалися урочисті події, прийоми гостей, трапези, тощо.

Привертає увагу і замкова каплиця, стеля якої розписана на тему релігійних сюжетів в 1857 р. відомим академічним художником Фердинандом Видрою. Кілька залів оздоблені стильним орнаментом ХVІІІ — першої половини ХІХ ст.

До ХVІІІ ст. замок оточував п'ятиярусний сад, засаджений рідкісними квітами, кущами і деревами. Сад прикрашали статуї і фонтани.

З кінця 1960-х рр. у замку проводяться реставраційні роботи, внаслідок чого у значній мірі законсервовані або відновлені аварійні, зруйновані чи втрачені елементи цієї визначної пам'ятки історії, культури, фортифікації та архітектури Ужгорода.

З 1947 р. у замку розташований Закарпатський краєзнавчий музей, дегустаційний зал, ресторан. Іноді проводяться лицарські турніри.