IAI AL MAwaddah Warrahmah Kolaka, bermula dari STAI Al Mawaddah Warrahmah Kolaka mulai dirintis pada tahun 2005. Pertimbangan utamanya adalah karena Kabupaten Kolaka dan kabupaten sekitarnya belum ada Perguruan Tinggi Islam, yang ada hanya kelas jauh yang waktu itu masih dibenarkan. Di sisi lain, masyarakat Kabupaten Kolaka mayoritas beragama Islam, yang nuansa keberagamaannya begitu terasa. Hanya saja, jadwal ceramah ramadhan, khutbah jumat dan berbagai majelis taklim kadang diisi oleh da’I dari luar karena kurangnya SDM yang kompetitif. Selain itu, Madrasah Aliyah tumbuh subur, yang alumninya harus meninggalkan daerahnya untuk melanjutkan pendidikan. Sebagian besar melanjutkan pendidikan di Ujung Pandang. Selain itu, kebanyakan guru agama pada sekolah umum dan guru rumpun PAI pada madrasah kebanyakan dari alumni Perguruan Tinggi dari luar privinsi, terutama dari Provinsi Sulawesi Selatan. Hal lain yang menjadi pertimbangan bahwa Kabupaten Kolaka dari sisi letak geografisnya merupakan jalur transit dengan peluang usaha yang cukup baik, sehingga masyarakatnya majemuk, termasuk dari latar belakang pemahaman agama, sehingga dibutuhkan tokoh agama yang berfaham rahmatan lil alamin, yang mengedepankan kebersamaan dan persaudaraan. Dari beberapa dasar pemikiran itulah, sehingga dianggap mendesak untuk merintis Perguruan Tinggi Islam. Saat itu berhasil direkrut calon mahasiswa sebanyak 20 orang. Berhubung izin operasional belum terbit, maka untuk sementara bermitra dengan STAI Al Gazali Kabupaten Bone.
Pada tahun 2007 terbitlah izin operasional dengan nomer Dj.I/177/2007, dan dimulai merekrut mahasiswa baru dengan program studi Agama Islam. Watu itu, visi STAI yang disepakati adalah “mewujudkan STAI Al Mawaddah Warrahamah Kolaka sebagai lembaga pendidikan tinggi yang rahmatan lil alamin serta berkomitmen mencetak generasi intelektual yang beriman dan bertakwa.
Lalu pada tahun 2018, STAI AL MAwaddah Warrahmah Kolaka berubah status menjadi IAI AL Mawaddah Warrahmah Kolaka, ditandai dengan penyerahan SK dari Dirjen Prof. Komaruddin Amin kepada Dr. KH. M. Zakariah, MA.
Lalu pada tahun 2020, telah diserahkan SK KEMENDIKBUD tentang Izin Pendirian dan Operasional Institut Teknologi Al Mawaddah Warrahmah kolaka yang pemberiannya diwakili oleh Prof Jasruddin (kepala LLDIKTI IX) kepada Dr. KH. M. Zakariah, M.A