Androidを使い長年解決出来ていなかった問題が一つあり、それが
端末を買い替えた際「Googleアカウント連絡先を同期」で復元すると、知らない人やメールアドレスが電話帳に登録されてしまう、という現象。
この現象が起こるようになったのは、Google+をお試しで使っていた時期があり、その時にフォローした人などのメールアドレスが登録されてしまっているのではないか?
これまでは手動で削除していましたが、ようやく解決方法がわかり綺麗に削除でき連絡先が同期できるようになりました。
この解決方法を忘れないように早速記事にして残しておきます。
現象

全ての電話連絡帳アプリで、知らない相手の電話番号やメールアドレスが登録されてしまう。
買い替え時は、Googleアカウントログインすると自動的に連絡先同期が始まってしまうので、OFFにする前に同期されてしまってどうしようもなかった。
解決方法はGoogleコンタクトページから
全ての元凶を解決できる場所はGoogleコンタクトページにありました。
アクセス方法は、ヤフーなどで「Googleコンタクト」と検索すれば一番上にヒットします。
もしくは

PCで自分のアカウントでGmailに入り、Gmail横の「▼」をクリックすると「連絡先」が見つかるので、そこからGoogleコンタクトページに入れます。
知らない人物を削除する

入ってすぐ画面に「よく使う連絡先」と「すべての連絡先」2つのリストが表示されます。
どうやら「よく使う連絡先」に入っている方が、知らない人の登録リストでしたので、
右端の点々をクリックし「削除」することで、消すことが出来ました。

なお、最初の画面で上部に「重複されている連絡先を表示」の青いボタンが表示されていたのでクリックすると上記の画面になります。
恐らく複数のアカウント(Googleやドコモ)、複数の連絡帳アプリを使っていたから、同じ人物が重複してしまったのかもしれません。
ここは、全て必要な相手の連絡先だったので、右上の
「全て統合」をクリックすると重複した人物が1つにまとまり、登録電話やメールなどもちゃんとまとまっていたので大丈夫でした。
これは知らない人の削除とは関係ありませんが、場合によっては統合しておくとスッキリしていいかもしれません。
知らない人のメールアドレスを削除する
上記だけでは、全て削除出来ておらず知らない人のメールアドレスがまだ沢山残っていました。
次の手順で更に削除します。

Googleコンタクト最初のページで、右側のメニューから
「もっと見る▼」をクリック → 「その他の連絡先」を選択。
ウィンドウが出てくるので「以前のコンタクトを開く」をクリックします。

別のページに切り替わり、右側の「よく連絡を取る人」「その他の連絡先」に数字が入っていましたが、開くと残っていた知らない人のメールアドレスが出てきました。
左側のボックスにチェックを入れ、「その他」→「削除」することで、全て綺麗に削除することができました。
いくつか「Myコンタクト」タグが付いている相手も表示されていますが、これらは全て必要な人でした。
あと右側メニューにGoogle+にあった、サークル相手もここに残っているので、まだフォローしている人がそのまま残っていたら削除しておきます。
以上で全て完了です。
もし2つ以上のGoogleアカウントを利用している人は、残りのアカウントも同じように残っていないか確認しておきます。
端末でGoogle連絡先同期をし直す
全て綺麗に出来たことを確認したら、使用しているAndroidスマートフォンの設定画面を開きます。

アカウント → Google → 各自のアカウント → 「連絡先を同期」スイッチを一旦OFF後再度ONにする
(すぐに同期は完了します)

楽天でんわアプリは念のため、一旦アンインストールして再インストールしましたが、同期でちゃんと必要な人だけ表示されるようになりました。
ようやく長年放置していた問題が解決出来ました。