Які файли можна видалити з папки debug

По-перше для подальшого використання програми вам потрібно скомпілювати її в конфігурації Release. Які дефолтовая настройки стоять для кожної з конфігурацій можна подивитися у файлі проекту.

* .pdb це не дивні файли, а налагоджувальна інформація, якщо я не помиляюся, в Release конфігурації вони по-дефолту не створюються. Якщо все таки вони є - можете спокійно їх видаляти.
.vshost.exe. * - це файли помічника студійного дебаггера. Для самостійної роботи програми вони також не потрібні.
.exe.config - потреба в цьому файлі залежить від того, що в ньому написано. Якщо не розумієте, що там - краще залишити його і поставляти з програмою (там, наприклад, можуть бути редіректи версій збірок).
* .xml - якщо це не ваші xml-ки, то зазвичай це автосгенеренная документація. Якщо у вас додаток, а не бібліотека, можете прибрати їх з поставки.

Щодо решти повинні знати самі. А взагалі, вивчайте інструмент, яким користуєтеся, якщо вже дійшли до етапу поставки додатки (якщо звичайно у вас не лабораторку там :))

Не потрібні.
Ви зібрали debug версію програми, яка містить велику кількість додаткової інформації для її налагодження.

Переведіть компіляцію в режим release і зайвих файлів не буде, і кінцевий виконуваний файл мав менший розмір і працювати швидше.