方法A) 超簡単

Y'z ToolBarを使いましょう。

方法B) 難しい

C:\WINDOWS\system32\shell32.dllを別の場所にコピーしてResBuilderで開く
↓
Bitmapを開く
204　24（標準）
205　24（マウスオーバー）
206　16（標準）　
207　16（マウスオーバー）
↓
Photoshop（アルファチャンネルを扱えるエディタ）で編集（好きなアイコンと差し替え）
↓
保存
↓
セーフモードで再起動
↓
C:\WINDOWS\system32\shell32.dllを編集したものと交換
↓
再起動
↓
表示が変わる
↓
(ﾟдﾟ)ｳﾏｰ

エクスプローラのアイコンを変更すると、ゴミ箱が空にできなくなる症状が起こる事もあるようです。