Ответы на ваши вопросы проходят в вузах на строительных факультетах. Причем с детальным историческим разбором - там всё становится на свои места.
В своём большинстве, дома эти проектировались начиная с Петра Первого, основная масса XVIII-XIX век, часть уже ХХ века, но либо реплики (восстановленные после войны), либо поддерживающие общий исторический архитектурный дизайн.
Окна комнат жильцов (обратите внимание) выходят на внешнюю сторону дома, для них же и парадные входы и лестницы - всё светлое и просторное, до революции даже "переобувались" внизу, чтоб лестницы не пачкать.
Прислуга же довольствуется внутренними лестницами и комнатами. По узким "черным" лестницам наверх поднимали продукты, воду, дрова, уголь, вниз спускали все отходы жизнедеятельности.
Насчет заглядывать в окна. Интересно, что подобное даже предусмотрено было - прислуга обычно женщины - так пожилые присматривали за молодежью (чуть ли не по настоянию родителей молодежи), чтоб ничего предосудительного не было - занавешивали окна только живущие вместе семейные.
Так же внутренние окна предусматривали разговоры прислуги через открытые окна - телефонов тогда еще не придумали.
После революции квартиры превратились в коммуналки - некоторые комнаты даже разделили на несколько частей. В восстановленных и сделанных по подобию домах убрали лестницы, где парадные, где внутренние, для увеличения жилой площади.
Интересно так же и узость внутреннего дворика - именно его узость (колодец) помогает вентиляции, причем воздух всегда входит со стороны внешних окон и выходит через окна прислуги во внутренний двор.
Не стоит ругать архитекторов, за то, что их работу используют не так, как они запланировали.

Спасибо за разъяснение, как раз хотел спросить для чего так строили.

Первоначально (при Петре Первом) строили по принципу "максимум на минимальной площади" - болота всё-таки. Потом уже всё остальное проявилось, что-то стали использовать, что-то исправлять - тогда архитектура, как наука, только появлялась.

Архитектор решал вопросы норм проектирования и инсоляции, когда в такое-то помещение должно поступать столько-то света. Жилыми такие помещения (выходящие в колодцы) были редкостью, в основном это лестничные клетки, кухни, итд. Ну или дешевые "номера" доходных домов, т.е под аренду. Когда в 20-х годах в этих домах стали появляться коммуналки и помещения разного назначения стали резаться на жилые комнаты- тогда и получился этот узаконенный депрессняк.

Выход-расселять эти коммуналки и использовать колодцы в новом ключе. Например, можно перекрыть крышу прозрачным атриумом и организовать во дворе, например, кафе. Если удастся согласовать инсоляцию. Таких примеров в СПб много.