Masalah antara Aljazair dan kekuatan Eropa, serta Amerika berlangsung hingga awal 1800-an. Pada 1816, armada Anglo-Belanda membombardir kota dan mengeluarkan ikrar dari para penguasa untuk mengendalikan kapal-kapal yang bersenjata.
Pembangunan dinding perimeter dan gerbang Kasbah dimulai pada awal abad ke- 16. Pembangunan dimulai setelah bajak laut Turki, Baba Aruj, dan Khairuddin (Barborossa Bersaudara) diundang oleh penguasa Aljazair untuk mengusir penjajah Spanyol.
Ketika Baba Aruj yang bertangan satu tewas dalam pertempuran pada 1518, Khairud din mengambil alih kota di bawah naungan Turki Utsmani. Khairuddin kemudian menjadi laksamana tertinggi angkatan laut Turki Utsmani dan menjadi cambuk bagi para pelaut Eropa.
Orang Eropa sendiri mengenal Baba Aruj dan Khoiruddin sebagai Barbarossa dalam ba hasa Italia, Barbarousse dalam bahasa Prancis, dan Red Beard dalam Bahasa Inggris yang artinya si 'jenggot merah'. Patung Khairuddin kini berdiri tepat di luar tembok Kasbah.