Mehmed Ali Ayni Şubat 1868'de Serfice/Manastır'da doğdu. Ailesi aslen Konyalıdır. Babası Mehmed Necib Efendi, annesi Refika Hanım'dır. İlk bilgilerini ailesinden aldı; Serfice Sıbyan Mektebi'ne devam etti. Sekiz yaşlarında iken ailesiyle birlikte önce Selanik'e, ardından İstanbul'a geldi. Bir müddet Çiçekpazarı Rüşdiyesi'ne devam etti. Babasının görevi dolayısıyla Sana/Yemen'e gitti; burada Askeri Rüşdiye'ye devam etti; dışardan Fransızca dersleri aldı. İki sene sonra ailesiyle birlikte İstanbul'a döndü, Gülhane Askeri Rüşdiyesi, Mülkiye'nin İdadi kısmı ve yüksek kısmından mezun oldu (1888). Mülkiye'de edebiyat hocası Recaizade Mahmud Ekrem, tarih hocası Mizancı Murad Bey idi.
İstanbul Hukuk Mektebi, Edirne idadisi (1889), Dedeağaç (1890), Halep (1892), Diyarbakır (1893) da öğretmenlik ve maarif müdürlükleri yaptı. Diyarbakır'da Süleyman Nazif'le dost oldu; Ziya Gökalp'le Faik Ali'ye hocalık yaptı. İstanbul'a dönüşünde (1895) Maarif Nezareti İstatistik Başkatibi oldu. Maariften ayrılarak idareciliğe başladı; Kosova (1897) ve Kastamonu (1899) vilayet mektupçusu oldu; Sinop Sancağı Mutasarrıf vekilliği yaptı (1902). Kastamonu'da görev yaparken Kastamonu Vilayet Matbaası'nı kurdu. 1903-12 yılları arasında Taiz/Yemen, Ammare/Basra, Karesi (Balıkesir), Lazkiye mutasarrıflığı; Elazığ, Yanya, Arnavutluk, Trabzon valiliği yaptı. Bu son görevinden Talat Paşa'nın emriyle emekliye sevk edildi (1913).
Emrullah Efendi'nin tavsiyesi üzerine Darülfünun Edebiyat Fakültesi Felsefe müderrisliğine getirildi. (1914); Edebiyat Fakültesi müderrisler meclisi Reisi seçildi (1915); bu görevde iken Edebiyat Fakültesi Mecmuası'nı kurdu; Istılahat-ı İlmiye Encümeni'nde görev aldı ve felsefe terimlerinin tesbitinde büyük emekleri geçti. Bu görevlerine ek olarak Çamlıca Kız Lisesi'nde, Darülfünun Tasavvuf Şubesi'nde ve Medresetu'l-İrşad'da hocalık yaptı. Mütareke'den sonra İttihatçıdır diye Şeyhülislam Mustafa Sabri tarafından Medresetü'l-İrşad'daki görevine son verildi. 1922'de TBMM Hükümeti tarafından medresetü'l-İrşad'daki görevine iade edildi. Ankara'ya çağrıldı ve Şeriye ve Evkaf Vekaleti bünyesinde kurulan Telifat ve Tetkikat-ı İslamiye üyeliğine getirildi. 1924'e kadar bu görevde kaldı. İstanbul'a döndü; İlahiyat Fakültesi'nde tasavvuf, Harbiye'de ahlak, Harp Akademisi'nde siyasi tarih okuttu. Türkiye'yi temsilen milletlerarası felsefe kongrelerine katıldı. İsmail Hakkı Bursevi ve Celaleddin Devvani hakkında tebliğler verdi. Türk tarih tezi çalışmalarına katıldı. 1935'de ikinci defa emekliye sevk edildi. Tedavi için gittiği Paris dönüşünde (1937) İstanbul Kütüphaneleri Tasnif Komisyonu üyeliğine (1936) ve reisliğine getirildi (1939). 75, doğum yılı dolayısıyla Eminönü Halkevi'nde kendisi için bir jübile yapıldı (1943). Geçirdiği ameliyattan kurtulamayarak 29/30:11:1945'te İstanbul'da vefat etti ve Zincirlikuyu Mezarlığı'na defnedildi.