Bangunan ini pertama kali didirikan dengan menggunakan bahan kayu pilihan. Meski sempat terhenti pada tahun 1870-1872, pembangunan dilanjutkan dengan menggunakan bahan bangunan permanen oleh putranya sebagai sultan kedelapan, yakni Sultan Mahmud Perkasa Alam.
Selain terlihat menara kembar didepannya, kubah masjid dibuat dari tembaga dan kuningan berbentuk segi delapan.
Kemegahan masjid kesultanan ini, menandakan kekentalan nuansa islam pada masa Kerajaan Melayu Deli. Dimana, pada saat itu, masjid tidak hanya digunakan sebagai tempat ibadah, tetapi juga tempat dakwah dan penyebaran informasi Kerajaan Deli.
Posisi Masjid Raya Al-Osmani menghadap ke sebelah timur, membelakangi jalan raya, bangunan masjid memiliki serambi dan ruang utama.
Serambi berada di sisi timur, utara, dan selatan, dimana di setiap bagian tengahnya terdapat penampil sebagai pintu masuk.
Penampilan dihiasi dua buah tiang besar bersegi delapan dengan hiasan kuncup bunga di bagian puncaknya, masing-masing berada di kiri dan kanan pintu.
