De Koornmarktpoort uit de 14de  eeuw is gelegen in het gebied dat tussen Oudestraat en IJssel was ommuurd. Drie grote poorten waren er te vinden: De Koornmarktspoort, de Vispoort en de Louwenpoort, Om de bevolkingsaanwas op te vangen werd in 1462 besloten het gebied tussen Vloeddijk en een daarachterliggende wetering binnen de stad te trekken en te ommuren. De nieuwe muur bood een indrukwekkend aanzien. Hij was ruim 6 m hoog en bijna 2 m dik. Behalve dertien muurtorens waren er vijf grote toegangspoorten: In het Zuiden de Venepoort; in het westen de Cellesboederpoort, de Broederpoort en de Kalverhekkenpoort; en in het noorden de Hagenpoort. Uiteraard behielden ook de Koornmarktspoort, de Vispoort en de Louwenpoort hun functie. Van de vele poorten zij alleen de Koornmarktspoort, Cellesboederpoort en de Broederpoort behouden, de Cellesboederpoort en de Broederpoort zijn in de 17de eeuw gemoderniseerd onder leiding van Thomas Berendtsz.