Pada awalnya, lokasi masjid yang diusulkan panitia pembangunan adalah terletakan di antara Fakultas Hukum dan Fakultas Ekonomi yang terdapat pohon beringin. Ada kalangan tertentu yang mengusulkan lokasi masjid yang akan dibangun dibagian belakang kampus UI yang terdapat di dekat sungai. Rektor UI pada waktu itu Prof. Dr. Sumantri Brojonegoro, akhirnya menyetujui lokasi masjid di bagian depan kampus. Rektor mempertimbangkan bahwa masjid yang akan dibanguna tersebt menunjukkan simbol UI.
Gubernur DKI Jakarta, Ali Sadikin dan Prof. Dr. HM. Rasyidi (ulama sekaligus staf pengajar UI) adalah sponsor yang paling gigih dalam pembangunan masjid ARH-UI.
Peresmian pembangunan dilaksanakan oleh Rektor UI pada tanggal 16 Agustus 1966 oleh Prof. Dr. Sumantri Brodjonegoro, yang ditandai dengan pelaksanaan Shalat Jum’at dengan Khatib Prof.Dr. H.M. Rasyidi sebagai imam dan Khatib. Pada tangal 16 Agustu 1968, Masjid ARH-UI, diresmikan penggunaannya dengan shalat Jumat pertama yang dihadiri oleh para pemuka, pembesar dan orang terkemuka di Indonesia.