Defapt poti si icoana, trebuie doar sa faci un shortcut schimbi icoana la acel shortcut, si dai pin la shortcut, dar ca sa mearga nu trebuie sa existe windows explorer in taskbar.

Edit: Alta varianta care functiona in 8.1 este sa apesi shift in timp ce dai click dreapta pe icoana din taskbar si selectezi properties, schimbi icoana si dai restart la explorer, sau log off si log in.