宮内省にいたチェロ通の職員からチェロの手ほどきを受けはじめる、のは16歳のとき。二十歳になる1922年には当時作曲家、指揮者として有名だった近衛秀麿に随伴して、ドイツに留学。1930年、ベルリンに留学し、ベルリン高等音楽院（Musikhochschule）でエマーヌエル・フォイアーマンに師事する。
途中、1927年に帰国しNHK交響楽団の前身である新交響楽団に首席チェロ奏者として入団。翌1928年の第30回定期では指揮者としてデビュー。同年にはチェリストとしてもデビューを果たし、1929年に初のリサイタルを開催しているが、遠山一行は「むかし齋藤さんがチェロをひくのをきいたある作曲家が、あれは西洋音楽の音ではなくて日本の太鼓やつづみの音にちかいといったのを覚えている。齋藤さんの分析のなかにある音楽と彼の耳に鳴っている音のリアリティの間には、本当にめまいがするような深い断絶があった」と述べている。
また、齋藤は松竹交響楽団や東京交響楽団などの首席指揮者を務め、戦時中に、井口基成とベートーヴェンのピアノ協奏曲5番「皇帝」、巌本真理とベートーヴェンのヴァイオリンとオーケストラのためのロマンス第1番、第2番を録音している。指揮者としても「あれは、ワルツのお化けだった。ワルツ特有のリズムのくせを、極度に強調し、理づめでつくり上げた結果、演奏からはあらゆるゆとりとよろこびと ― 要するにヴィーンのワルツにあるすべての感覚的精神的美質がグロテスクなまでに歪曲されてしまっていた」（齋藤によるヨハン・シュトラウス作品の指揮に対する吉田秀和の評言）などと評された。
終戦後、ソリストとしては活動しなくなるが、巌本や森正らの室内楽活動に手を貸す傍ら、1948年には井口基成、伊藤武雄、吉田秀和らと「子供のための音楽教室」を開設。これが後の桐朋学園の一連の音楽系学科開設につながっていく。

門下生だった堤剛によると、齋藤は喫煙中毒者であり、指導中にくわえ煙草でチェロを弾くことも多く、愛器を修理に出した際に胴体から数年分の灰が出てきたことがある。灰を除いたチェロの音については、良くなったという生徒もいれば、味を失ったと評する生徒もいたという。
また、山本直純によると、ニコチンが切れると苛立って教え子に当たり散らし、譜面台を蹴り倒して楽譜を散乱させることもあったという。門下生の小澤征爾は高校時代、齋藤から指揮棒で叩かれたりスコアを投げつけられたりするなどの体罰を日常的に受けていたため、あまりのストレスから自宅の本箱のガラス扉を拳で殴りつけ、大怪我をしたこともある。
宮沢賢治のセロ弾きのゴーシュの中に出てくる管弦楽団の厳しい楽長（指揮者）のモデルは、ちょうど留学から帰ったばかりで厳しい指導をしていた新交響楽団での齋藤の姿から考えたのではないか、という説がある。