Есть ровно одна причина, по которой windows может не дать тебе удалить ключ в registry. Это права на оный ключ. Поэтому:
1. Убедись что ты администратор на локальной машине :-).
2. Пойди в Permissions -> Advanced у этого ключа (на винюках более древних чем XP править права можно только в regedt32).
3. Поменяй owner'а на себя.
4. Попробуй еще раз.
5. Если это не помогло, попробуй запустить regedit из-под эккаунта LocalSystem. Для этого нужны либа тулзы типа su, либо можно попробовать через scheduler.