Будущий художник родился в Москве. В семье очень любили театр, музыку, литературу. В детстве Александр серьезно занимался игрой на рояле и пением. Увлечение изобразительным искусством проявилось лишь в старших классах гимназии.
В 1881 году поступил на архитектурное отделение Московского училища живописи, ваяния и зодчества, но вскоре понял, что архитектура его не вдохновляет и перевелся на живописное отделение. В период обучения Александр Головин познакомился Левитаном и Коровиным, свел дружбу с Нестеровым и Архиповым, был представлен Михаилу Врубелю. Любимым преподавателем был профессор Василий Поленов, который не только был наставником, но и, можно сказать, духовным отцом.
После смерти матери в 1884 году, оставшись практически без средств, Александр Головин брался за самые разные заказы. Он расписывал атласные ткани, проектировал мебель и предметы интерьера, делал майоликовые панно и разнообразные керамические изделия совместно с участниками Абрамцевского художественного кружка, и, конечно, занимался станковой живописью.
В 1889 году вместе с поленовской «когортой» Александр Головин посетил Всемирную выставку в Париже, где его покорила новейшая французская живопись.
С 1898 года Головин начал заниматься декораторским искусством. Он оформлял спектакли для Большого театра в Москве, занимал должность главного декоратора в Императорских театрах, а также был консультантом дирекции по художественным вопросам. Помимо этого, мастер придумывал эскизы костюмов и декораций к операм, участвовал в выставке «Мира искусства», а позже стал членом объединения и одним из сотрудников журнала «Мир Искусства». Для театральных произведений Александра Головина характерно стремление к целостности художественного образа спектакля, а эскизы декораций, костюмов, бутафории отточены в каждой детали.
В 1903 году А. Головин вступил в Союз русских художников. С 1912 года — действительный член Академии художеств. В тот же период у художника обнаружились первые признаки серьезной сердечной болезни, и врачи посоветовали художнику покинуть столицу. С 1913 Головин жил в Царском Селе.
В 1928 году художник был удостоен звания «Народный артист РСФСР».
Александр Головин — автор многочисленных портретов актеров, в частности Шаляпина, Мейерхольда, Станиславского, Юрьева, Петрова и других. Кроме своих замечательных полотен, Александр Головин оставил книгу воспоминаний «Встречи и впечатления», рассказывающую о многих больших мастерах художественного искусства: Чистякове, Поленове, Серове, Врубеле, Нестерове.
Александр Яковлевич умер в апреле 1930 года. Похоронен на Новодевичьем кладбище (Санкт-Петербург).