Активуємо Дедуплікація даних в Windows 8 / 8.1

Нагадаємо, що в Windows Server 2012 з'явилася вбудована можливість активації дедуплікаціі даних на дискових розділах. Мета технології дедуплікаціі - економія дискового простору на файлових серверах за рахунок пошуку і видалення дублюючих даних. Тобто система шукає на томі з файловою системою NTFS однакові блоки, і видаляє їх, замінюючи такі блоки посиланнями на оригінал, звільняючи тим самим місце на дисках (докладніше про технологію написано тут). Дана технологія орієнтована на серверний сегмент і в клієнтської Windows 8 недоступна навіть в старших редакціях.

Однак існує трюк, що дозволяє задіяти технологію дедуплікаціі в Windows 8 (і Windows 8.1). Для цього любителі випиляли відповідні пакети з Windows Server 2012 / R2.

Примітка. Офіційно функціонал дедуплікаціі для клієнтських ОС не підтримується і є unsupported configuration.  Однак, задіявши функціонал дедуплікаціі для таких завдань, як: тестового середовища віртуалізації Hyper-V або для диска, що зберігає образи і дистрибутиви різного ПО, ви можете заощадити до 90% дискового простору, чого не досягти при використанні NTFS компресії або Single Instance Storage (вже канула в лету).
  1. Скачайте і розпакуйте архів з файлом, що містить накопичувальний пакет, який активує Дедуплікація:
    • Для Windows 8 - w8-0-dedup.zip (4133 Кб)
    • Для Windows 8.1 - w8-1-dedup.zip (4351 Кб)
  2. Виконайте (з правами адміністратора) наступні команди:
    • для Windows 8: Dism / online / add-package /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.2.9200.16384.cab /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.2. 9200.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.2.9200.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.2.9200.16384.cab / packagepath : Microsoft-Windows-Dedup-Package ~ 31bf3856ad364e35 ~ amd64 ~~ 6.2.9200.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.2.9200.16384.cab

      dism / online / enable-feature / featurename: Dedup-Core / all

    • для Windows 8.1: Dism / online / add-package /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.3. 9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab / packagepath : Microsoft-Windows-Dedup-Package ~ 31bf3856ad364e35 ~ amd64 ~~ 6.3.9600.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab

      dism / online / enable-feature / featurename: Dedup-Core / all

    3. Примітка. Так як пакети дедуплікаціі "виколупати" з Windows Server 2012 / R2, то працювати вони будуть тільки на 64 розрядних версіях Windows 8. На русифікованих версіях в процесі установки можуть з'явитися "кракозябри", але на працездатність компонента це не вплине.
  3. Після установки компонента в "компонентах Windows"(Розділ Control Panel \ All Control Panel Items \ Programs and Features \ Turn Windows Features on or off) з'явиться нова, раніше відсутня опція File Server Role -> Data Deduplication

Управління Дедуплікація в Windows здійснюється через PowerShell, запущений з правами адміністратора (природно, що графічна утиліта управління, що входить до складу консолі Server Manager, працювати не буде).

Щоб включити Дедуплікація для томи D :, виконайте команду:

Enable-DedupVolume -Volume D:

Порада. Дедуплікація можна включити для системного або завантажувального тому.

У Windows 2012 R2 (PowerShell 4.0) з дупліціруемих даних на диску можна вивести деякі каталоги:

Set-DedupVolume -volume D: -ExcludeFolder d: \ WorkFolder; d: \ Video

Щоб запустити процес дедуплікаціі негайно, виконайте команду:

Start-DedupJob -Volume D: -Type Optimization

Статус процесу можна дізнатися так:

Get-DedupStatus

Примітка. В офіційних джерелах вказується, що на середньостатистичному залозі швидкість виконання дедуплікаціі складає близько 100 Гб / год.

При установці компонента дедуплікаціі в Windows 8, за розкладом завдань створюються три нових завдання, які за визначеним розкладом виконують операцію Дедуплікація даних на томах. Подивитися і поміняти параметри завдань можна за допомогою графічного інтерфейсу планувальника (Task Sheduler -> Task Sheduler Library -> Microsoft -> Windows -> Deduplication).

або через PoSh:

Get-DedupSchedule

Порада. Також варто усвідомлювати, що дедуплікація частково знижує продуктивність системи. Це природно, тому що системі доводиться витрачати додаткові системні ресурси на пошук однакових блоків на томі. Тому варто налаштувати розклад таким чином, щоб дедуплікація виконувалася в неробочі для користувача ПК годинник.

За замовчуванням процес дудуплікаціі задіюється для файлів, які не змінювалися більше 5 днів. У більшості випадків (особливо в тестовому середовищі) варто включити Дедуплікація для всіх файлів, незалежно від часу їх зміни.

Set-Dedupvolume D: -MinimumFileAgeDays 0

Після закінчення дедуплікаціі оцінити її результати (які полягають в економії місця на диску) можна за допомогою PoSh:

Get-DedupStatus

Або візуально у властивостях диска

інфо. У нашому прикладі для диска, що містить образи дистрибутивів Windows і іншого системного ПЗ, після дедуплікаціі розмір даних на диску зменшився більш ніж в 100 (!!) раз.важливо. При включенні дедуплікаціі даних на диску їх не можна буде прочитати на іншому ПК, якщо на ньому не встановлено даний компонент. Тобто, хоча ви і побачите список файлів на диску, але прочитати їх не вийде. Якщо на іншому комп'ютері компонент дедуплікаціі встановити не можна, необхідно запустити процес дедуплікаціі даних на томі:

 Start-DedupJob -Volume D: -Type Unoptimization

А після його закінчення, коли дані будуть «розгорнуті» в початковий стан, відключити дедеплікацію для томи:

Disable-DedupVolume -Volume D:
Категорія