Між зовнішнім і середнім кільцями оборони вже в XVI ст. будувалися різні житлові та господарські споруди; тут розбивали сади й парки, садили городину, розводили в ставах рибу. Під 1511 р., наприклад, згадується будиночок на терасі перед частоколом, в якому мешкали господарі фортеці.

У XVII ст. основні будівлі - дім старости, приміщення для охорони й служб, дві стайні, солодівня - знаходилися обабіч дороги, що вела до замку. Вздовж ставу, з північної сторони, у 1684-І687 роках побудовано нові стайні та возівню.

У наступному столітті кількість будівель збільшилася майже вдвоє. На нижній терасі, що понад ставом з боку селища, з'являється "резиденція" губернатора (управляючого) із стайнями, возівнею та службовими приміщеннями, на верхній - перед фортецею постають велика башта з годинником і цехгауз. З другого боку замку, за каналом, будуються лазєнки - палацик для купання та відпочинку. Зліва від дороги, що підходила під замок, зводяться нові стайні та житла конюхів, нижче - шпихлір, возівня, а над водою - лебідярня. Перед замком з боку Олеська побудовано оранжерею із зимовим садом, теплицею і будиночок городника. Північний схил пагорба засаджено фруктовим садом, а з південного боку на початку XVII ст. розбито регулярний парк в італійському стилі. Цей парк згадується в інвентарних описах замку: подаються цілі реєстри різноманітних кущів і таких рідкісних дерев, як цитрусові, кипариси й олеандри. За своїм розташуванням парк належав до типу середньовічних, тобто побудованих незалежно від замку, композиційне ізольованих від нього.

Будівництво Олеського замку можна поділити на три основні періоди. Перший період - кінець XIII - початок XIV ст.: створення давньоруського фортечного, овального в плані, муру, близько 130 м за периметром. Другий період - XV - половина XVI ст.: спорудження всередині мурів двоповерхового приміщення в східній частині замку (до наших днів збереглися готичні портали й обрамлення вікон), каплиці, башти в південно-східній частині двору, студні посеред дитинця. Третій період будівництва замку - кінець XVI - початок XVII ст.: добудова та надбудова двоповерхових корпусів у східному й західному крилі, триповерхового приміщення з північного боку замку, нової надворітноЇ башти. На той час стіни фортеці були вже отиньковані, висота їх місцями перевищувала 10 м.

Криницею, згадуваною в 1511 р., користувалися до 1875 р.- тоді вона завалилася й була засипана. Вирубана в мергелі на глибину 42 м, вона існувала так довго, бо була ретельно викладена каменем.

Найбільших змін зовнішній вигляд замку зазнав у 1590-1620 рр., коли набирає розвитку вогнепальна зброя. Міняється характер укріплень, засоби оборони виносяться поза мури, вдосконалюються вали, в Їх системі виділяються бастіонні споруди, сліди яких із східного боку простежуються і тепер. Якщо раніш основним житлом були дерев'яні будинки, що стояли за валом, а за мурами фортеці в невеличких прибудовах до стін люди тулилися тільки під час облог, то тепер замкові приміщення розширюються, набувають житлового характеру. Внутрішній простір дитинця сильно зменшується, ростуть будинки й угору.

Архітектурно-мистецька виразність старих кріпостей проявлялася у співвідношенні об'ємів, що немовби доповнювали і в певній мірі повторювали абриси пагорбів, на яких вони будувалися.

Починаючи з XVII ст. дедалі більшого значення надається оздобленню площин стін та веж, хоча в плані лишається в основному низка тих же приміщень, що за традицією примикають до оборонних мурів. Для їх об'єднання місцями будуються відкриті галереї у вигляді ордерних аркад. Вікна других поверхів отримують кам'яне обрамлення, а двері - портали; над воротами та в порталах розміщуються герби володарів замків.

Хто ж здійснює ці роботи в Олеському замку? Відомо, що в той же час тесть Даниловича будує замок у Красичині, недалеко від Перемишля. Можна припустити, що роботи в обох замках проводили ті ж самі майстри і зодчі, на користь чого говорять аналогічні портали в красичинській і олеській спорудах.

Нелегко було архітекторові середньовічну фортецю перетворити в ренесансний палац. І те, як це було зроблено, виказує втручання доброго зодчого. Можливо, ним був італієць Галеаццо Аппіані та інші майстри, які працювали в Красичині.

Історія не зберегла імен сотень майстрів, що зводили цю грандіозну споруду. Звичайно, основною робочою силою були мешканці навколишніх сіл Йосипівна, Ожидів, Кути, Сточин, Хватів, Чехи, Закомар'є, Розваж та інших.

Декотрих учасників будівництва згадує Олеська гродська книга, де кілька разів (з 1622 до 1632 р.) називається Альберто Мураторі, очевидно, італієць за походженням, який лишився жити в Олеську. В 1623 р. промайнули імена муляра Войтіха та Якова-позолотника.

Інвентарні описи замку, зроблені під час продажу або передачі його в спадок, дають повне уявлення про окремі інтер'єри, про спосіб життя його мешканців. Ми дізнаємося, що потрапити в замкову браму було нелегко: спочатку проходили нижню браму в частоколі, потім через міст-другу браму, йшли мурованим мостом на шести арках, і тільки тоді перекинутий над ровом міст приводив на дитинець. Майже з середини дитинця підіймалися сходи на другий поверх у лоджію, звідки входили до кімнат.

Аркада лівого крила була відкрита до дитинця; пізніше останній проліт, що вів до каплиці, замурували. По стіні, що замикала дитинець з боку Олеська, проходила крита галерея, яка з'єднувала між собою два крила замку. В брамі стояла велика гармата на колесах, в ніші - камін для обігрівання охорони, трохи далі - вхід «під склепіння». Приміщення підвалів та першого поверху використовувалися для господарських цілей: тут були кухня, пекарня, арсенал, «татарня», скарбниці тощо.

Житло власників замку багато оздоблювалося. Дослідження залишків декору свідчать, що найактивніше ці роботи проводилися у другій чверті XVIII-на початку XIX ст. Інтер'єрам було надано палацового характеру. Велику роль в їх прикрашанні відіграв французький скульптор Леблан.

В інтер'єрах з'явилися нові каміни та печі, стіни покривали ліпниною, монументальними розписами або штучним мармуром. Кімнати, в залежності від свого призначення, а частіше - від декору, отримували назви. «Портретною» стала називатися кімната, на стіні якої намальовано королівські портрети, «європейською» - плафон якої прикрашала картина «Викрадення Європи»; у «віденській» була велика картина «Битва під Віднем», а «дзеркальна» містила дзеркала.

Приміщення третього поверху в правому крилі надбудовані на початку XIX ст. Тоді-то при реконструкції лівої частини знесено завершення великої башти, й висота будівлі вирівнялася. В кінці XVIII ст. почали ліквідовувати дрібні будиночки неподалік замку.

До нашого часу зберігся колишній монастир капуцинів, побудований в 1737 р. архітектором з Поділля Мартином Добравським. Це класичний барочний комплекс будівель, композиційним центром якого е костьол. З півдня до нього примикає квадратний у плані (35Х35 м) корпус монастиря з келіями на першому й другому поверхах і замкнутим внутрішнім двором. До вівтарної частини костьолу приєднані капітул - місце збору монахів та закристія. З південної сторони монастир замикається трапезною і кухнею зі студнею.

Перед фасадом костьолу у відкритому дитинні скульптор Леблан встановив три кам'яні фігури святих. Мур висотою до трьох метрів оточує монастирський двір, що нагадує в плані тринефну одноабсидну культову споруду: на місцях вівтарів - п'ять мурованих капличок.

Зелені насадження у дворі були схожі на парки барочних палаців. Територію розділяли доріжки, що йшли по осі монастиря. Стрижені шпалери, партери, засаджені лікарськими рослинами, ділянки з городиною та фруктовими деревами і, нарешті, два басейни, що домінували в центрі подвір'я,- все це більше нагадувало палац XVIII ст., ніж монастир.