Удалять конечно же.
Ты как файлы то вообще удаляешь с винта 
Нужно выделить, то что хочешь удалить, и нажать Shift+Delete , т.е. удалить полностью минуя корзину.
Игорь, у меня видится папка на дисках System Volume Information, но она как бы не подсвечена и не удаляется, а вот корзины были на всех дисках
