Родился в городе Далматове в небогатой купеческой семье. Учился в Пермском народном училище. Написал «Оду на заключение мира со шведами», опубликованную в журнале «Российский магазин», и за успехи в литературном творчестве был переведён в Московскую университетскую гимназию.
В 1799 году Алексей Фёдорович окончил Московский университет с золотой медалью. С 1804 по 1830 годы был профессором университета по кафедре российского красноречия и поэзии. В 1818, 1820—1826 годах профессор Мерзляков служил цензором в Московском цензурном комитете.
На творчество Мерзлякова повлияло общение с В. Жуковским, А. Тургеневым, А. Кайсаровым, А. Воейковым и участие в «Дружеском литературном обществе», определив сочетание гражданственности с народностью. Созданные им «Ода на разрушение Вавилона», гимн «Слава», переводы из Тиртея оказали воздействие на развитие русской гражданской поэзии преддекабристской эпохи.
В сотрудничестве с крепостным композитором Д.Кашиным Алексей Фёдорович написал несколько песен на народные мотивы («Среди долины ровные...», «Не липочка кудрявая...», «Чернобровый, черноглазый...»). Их популярность сохранилась до нашего времени. Своими песнями, романсами и переводами Мерзляков способствовал демократизации русской литературы, явившись, как поэт, предшественником Кольцова.
В 1815 году Мерзляков издавал журнал «Амфион», в котором участвовали Жуковский, Батюшков, князь Вяземский, Денис Давыдов.
Мерзляков сделал много переводов греческих и римских поэтов. Будучи признанным поэтом, он был также авторитетным критиком и теоретиком искусства. Свои идеи он развивал в двух прочитанных им университетских курсах «Теория изящных искусств» и «Критики». Его лекции были популярны у студентов. Он также преподавал в Благородном пансионе при Московском университете. Среди его слушателей и учеников были П. Вяземский, Ф. Тютчев, М. Лермонтов. По мнению современников, Мерзляков оказал сильное влияние на мировоззрение Лермонтова.
Алексей Фёдорович был действительным членом Общества любителей российской словесности при Московском университете, действительным членом Общества истории и древностей российских, Казанского и Ярославского обществ любителей российской словесности, почётным членом Виленского университета.