Vérifiez tout d'abord que vous disposez bien de la toute dernière mise à jour de Windows 10.
Si le problème persiste, et si vous disposez d'une version Windows 10 Pro ou Business, la liste des icônes en question est normalement stockées au format XML dans le fichier se trouvant à l'emplacement suivant :
%LOCALAPPDATA%\Microsoft\Windows\Shell\LayoutModification.xml
Ouvrez ce fichier avec Notepad et effacez ce qui se trouve entre les lignes :
</DefaultLayoutOverride>
<CustomTaskbarLayoutCollection PinListPlacement="Replace">
<defaultlayout:TaskbarLayout>
<taskbar:TaskbarPinList>
EFFACER ICI
</taskbar:TaskbarPinList>
</defaultlayout:TaskbarLayout>
</CustomTaskbarLayoutCollection>
Une autre raison qui pourrait expliquer que les icônes reviennent après chaque redémarrage, et une fois de plus si Windows est une version Pro, est que des règles GPO et des stratégies de groupe ont été mises en place ; référez-vous à cette page du site de Microsoft pour plus d'informations à ce sujet.
Si aucune de ces pistes n'aboutissent, aux grands maux les grands remèdes : réinstallez Windows.