Toen enkele jaren geleden het paneel met het vroeg 16e eeuws stadsgezicht werd ontdekt werd al snel duidelijk dat een deel van het vooraanzicht werd ingenomen door de stadsmuur en stadsgracht ter plaatse van de huidige Karnemelkstraat. Vergeleken met de huidige situatie is het aanzicht volslagen onherkenbaar, hoewel de breedte van de huidige straat wel samenhangt met de ligging van de gedempte middeleeuwse stadsgracht.
Ter oriëntatie: De huidige noordelijke gevelrij van de Karnemelkstraat bevindt zich een aantal meters achter de stadsmuur.
Stadserf
Direct achter de stadsmuur bevond zich in de tijd dat het paneel geschilderd werd een stadserf. Dat is niets meer of minder dan een opslagplaats voor bouwmaterialen die het stadsbestuur opsloeg voor reparaties aan de stadspoorten en openbare gebouwen maar ook voor de opslag van bestratingsmateriaal. Een ander stadserf lag bij de huidige Kraanstraat. Niet voor niks ook vlak bij het water. Ook het huidige Stadserf moet in deze periode ontstaan zijn.