ブログをやっていると、過去記事がどんどん貯まっていくわけですが
これってSEO上は削除すべきなんでしょうか?

一つの答えとして、「削除しなくてよい」というのが
Googleのフォーラムにありました。

https://productforums.google.com/forum/?hl=ja#!category-topic/webmaster-ja/ZrDt4Y0cd28

削除する場合もリンク切れに注意ってことですね。