Начальное образование Меркуров получил в Александрополе (Гюмри), затем в Нахиджеване и Тифлисе. В 1901-м Меркуров поступает в Киевский политехнический институт. Здесь он впервые знакомится с идеями большевиков и проникается к ним симпатией. Во время одной из студенческих акций Меркуров подвергается избиению со стороны полицейских. У него возникают проблемы со здоровьем. Он вынужденно пропускает занятия и его отчисляют из института.
Через год Меркуров поступает в Цюрихский университет на философский факультет. Здесь он берёт первые уроки ваяния у известного архитектора Адольфа Мейера. В Цюрихе Меркуров впервые знакомится с Ульяновым-Лениным и присутствует на его встречах. В 1903 году Меркуров поступает в Мюнхенскую Художественную Академию. Его немецкая мастерская становится явкой русских революционеров.
С 1912 года Меркуров живет в Москве. Он снимает мастерскую на Цветном Бульваре. Меркурову принадлежат почти все значимые скульптуры того времени: политические и военные лица, писатели, композиторы, деятели искусства, ученые. В Советском Союзе Меркуров был повсюду. Партийная элита того времени только ему доверяла особо важные работы. Меркуров успевал также участвовать в международных конкурсах. Во время своих поездок в Европу он несколько раз встречался с Роденом.
Когда-то в Ереване были установлены три работы Меркурова: памятник Ленину на центральной площади, памятник Сталину в парке Победы и памятник Шаумяну на одноименной площади. Слава Сталина умерла вместе с ним, и его памятник был убран сразу же после его смерти. Слава Ленина погасла еще через 65 лет и его памятник также демонтировали. Сейчас в Ереване сохранилась лишь одна работа Меркурова – памятник Шаумяну.