소련 아제르바이잔 SSR 바쿠(현 아제르바이잔)에서 태어난 로스트로포비치는 모스크바 음악원에서 첼로와 작곡을 공부했다. 그는 드미트리 쇼스타코비치, 세르게이 프로코피예프, 벤자민 브리튼 등 당대 주요 작곡가들과 긴밀하게 협력하며 그들의 첼로 협주곡 및 소나타 초연을 맡았다. 특히 브리튼과의 깊은 우정은 유명하며, 브리튼은 그를 위해 여러 걸작을 작곡하기도 했다.
로스트로포비치는 음악적 재능뿐만 아니라 예술의 자유와 인권 옹호에도 적극적이었다. 1970년대 초, 그는 노벨 문학상 수상자인 알렉산드르 솔제니친을 옹호하다가 소련 당국으로부터 압력을 받고 결국 1974년에 시민권을 박탈당한 채 가족과 함께 망명했다. 그는 서방에서 활발한 연주 및 지휘 활동을 펼쳤으며, 특히 워싱턴 내셔널 심포니 오케스트라의 음악 감독을 역임하기도 했다. 1990년 소련 시민권을 회복하고 고국으로 돌아온 그는 말년까지 활발한 활동을 이어갔다.
그의 연주는 강력한 기교와 깊은 음악성, 그리고 폭넓은 감정 표현으로 특징지어진다. 로스트로포비치는 전 세계 음악계에 지대한 영향을 미쳤으며, 수많은 후대 첼리스트들에게 영감을 주었다.