この情報がどこまで正確かを問われてしまうと「うーん」と唸ってしまいますが、
計測上わかったこととして報告しますと、

サーバーのレスポンスを上げたところ、
（実際には、サーバーのスペックを上げました）

SEOの成績が15ポイント上がりました。

可能性としてはありそう。
恐らく、ページの表示スピードが重要と考えられます。
重たいサイトは「人間にもシステムにも嫌われる」ってことですね。