Родился 1 (13) ноября 1842 года в Гдове в купеческой семье. У его отца был парфюмерный магазин в Гостином двореСанкт-Петербурга. Пыляев учился в реформатском училище в Санкт-Петербурге, слушал лекции в университете г. Харькова, а также в университетах Европы. У Пыляева М.И. было трое детей. Два сына и дочь: Глеб, Борис и Александра. Глеб умер в детстве. Борис был преподавателем химии, Александра корректором в типографии.

Благодаря знакомству с Василием Степановичем Курочкиным, начал печататься в «Искре», затем в «Сыне отечества»,«Петербургском листке», «Суфлере», «Петербургской Газете», «Театральном мирке», «Труде», «Севере», «Московском Листке», «Всемирной Иллюстрации» и др. Интересовался театральной жизнью, был автором многочисленных статей по истории театра и отчётов о художественных выставках.

Для «Исторического Вестника» Пыляевым были написаны статьи «Наш театр в эпоху Отечественной войны», «Исторические колокола», «Отец Суворова», «Полубарские затеи», «Столетие собора Александро-Невской лавры», «Эпоха рыцарских каруселей и аллегорических маскарадов в России».

С 1879 года Пыляев работал в «Новом времени», где поместил ряд фельетонов о петербургской старине, затем выпущенных Алексеем Сергеевичем Сувориным в виде отдельных изданий. В своих работах использовал документы из частных архивов (в настоящее время большей частью утраченных) и свидетельства старожилов.

В Петербурге жил на набережной реки Фонтанки в доме № 22, на стене которого установлена мемориальная доска с надписью: «Михаил Иванович Пыляев (1842—1899), историк, краевед Петербурга, жил в этом доме».

Был похоронен на Митрофаниевском кладбище Санкт-Петербурга, в 1930-х годах захоронение было перенесено наЛитераторские мостки Волковского кладбища.