ホームディレクトリの中身がグッチャグチャになることを避けるために、vimrc を適当なディレクトリに移動しておくといいかもしれない。
以下のコマンドを実行すれば場所がわかる。unix の場合 $HOME/.vimrc または $HOME/.vim/vimrc。僕はいつも後者を使う。
:help vimrc