Blog. Just Blog

Упаковка и распаковка данных с помощью функций D3D

Версия для печати Добавить в Избранное Отправить на E-Mail 05.02.2024 | Категория: Образ мышления: Assembler | Автор: ManHunter
Упаковка и распаковка данных с помощью функций D3D
Упаковка и распаковка данных с помощью функций D3D

Функции Microsoft High Level Shader Language (HLSL) изначально предназначены для работы с шейдерами в различных графических приложениях. Но, как выяснилось, с помощью некоторых из этих функций можно весьма эффективно сжимать данные, а потом распаковывать их.

У нас будут использоваться конструкции для работы с объектами, про которые FASM не знает. Ну да, кто б сомневался.
Code (Assembler) : Убрать нумерацию
  1. struct D3D_SHADER_DATA
  2.         pBytecode      dd ?
  3.         BytecodeLength dd ?
  4. ends
  5.  
  6. ; ID3D10Blob Interface
  7. struct ID3D10Blob
  8.     ; IUnknown
  9.     QueryInterface   dd ?   ; 000h
  10.     AddRef           dd ?   ; 004h
  11.     Release          dd ?   ; 008h
  12.     ; ID3D10Blob
  13.     GetBufferPointer dd ?   ; 00Ch
  14.     GetBufferSize    dd ?   ; 010h
  15. ends
  16.  
  17. D3D_COMPRESS_SHADER_KEEP_ALL_PARTS = 0x00000001
Начнем как всегда с теории. Для сжатия набора шейдеров в HLSL используется функция D3DCompressShaders, которая экспортируется из библиотеки D3DCompiler_47.dll. У меня в системе она есть, но также я встречал эту библиотеку разных версий в комплекте с некоторыми играми. Как я понимаю, это сделано для совместимости с разными разрядностями системы, на которой эта игра будет запускаться. На вход функции подается заполненная структура D3D_SHADER_DATA, на выходе получаем указатель на интерфейс объекта ID3DBlob. Дальше при помощи методов GetBufferPointer получаем указатель на сжатые данные, а с помощью метода GetBufferSize узнаем их размер. Все очень просто.
Code (Assembler) : Убрать нумерацию
  1. ;------------------------------------------------------------
  2. ; Упаковка данных в формате D3D
  3. ;------------------------------------------------------------
  4. ; На входе:
  5. ;   lpOut - указатель на исходные данные
  6. ;   dLen - размер исходных данных
  7. ;   lpCompressed - указатель на буфер для упакованных данных
  8. ; На выходе:
  9. ;   EAX = размер упакованных данных
  10. ;------------------------------------------------------------
  11. proc d3d_pack lpInput:DWORD,dLen:DWORD,lpCompressed:DWORD
  12.         pusha
  13.  
  14.         ; Заполнить структуру D3D_SHADER_DATA
  15.         mov     eax,[lpInput]
  16.         mov     [dsa.pBytecode],eax
  17.         mov     eax,[dLen]
  18.         mov     [dsa.BytecodeLength],eax
  19.  
  20.         ; Упаковать данные
  21.         invoke  D3DCompressShaders,1,dsa,\
  22.                 D3D_COMPRESS_SHADER_KEEP_ALL_PARTS,blob
  23.  
  24.         ; Получить указатель на упакованные данные
  25.         mov     eax,[blob]
  26.         mov     eax,[eax]
  27.         stdcall dword [eax+ID3D10Blob.GetBufferPointer],[blob]
  28.  
  29.         mov     esi,eax
  30.         mov     edi,[lpCompressed]
  31.  
  32.         ; Получить размер упакованных данных
  33.         mov     eax,[blob]
  34.         mov     eax,[eax]
  35.         stdcall dword [eax+ID3D10Blob.GetBufferSize],[blob]
  36.  
  37.         mov     [esp+28],eax
  38.  
  39.         ; Записать упакованные данные в буфер
  40.         mov     ecx,eax
  41.         rep     movsb
  42.  
  43.         ; Прибраться за собой
  44.         mov     eax,[blob]
  45.         mov     eax,[eax]
  46.         stdcall dword [eax+ID3D10Blob.Release],[blob]
  47.  
  48.         popa
  49.  
  50.         ret
  51. endp
Тестирование показало, что небольшие файлы сжимаются плохо, а вот сжатие объемных текстовых файлов получилось гораздо эффективнее, чем даже у aPLib, BitBuster и ZLib. При этом скорость упаковки очень хорошая.

Обратную распаковку упакованных данных выполняет функция D3DDecompressShaders. Но тут есть одна тонкость, из-за которой пришлось провести некоторое время в отладчике. Дело в том, что упакованные данные предваряются DWORD'ом с размером оригинальных данных, после которых следует маркер "BSCD" и остальная информация. А функция распаковки ожидает, что буфер с упакованными данными начинается сразу с заголовка. Поэтому тут надо решить для себя, как поступить. Или передавать упакованные данные, начиная с 4-го байта, или при распаковке увеличивать адрес указателя на эти же 4 байта. Я выбрал второй вариант, так как информация о размере оригинальных данных в большинстве случаев будет очень кстати.
Code (Assembler) : Убрать нумерацию
  1. ;------------------------------------------------------------
  2. ; Распаковка данных в формате D3D
  3. ;------------------------------------------------------------
  4. ; На входе:
  5. ;   lpCompressed - указатель на упакованные данные
  6. ;   dLen - размер упакованных данных
  7. ;   lpOut - указатель на буфер для распакованных данных
  8. ; На выходе:
  9. ;   EAX = размер распакованных данных
  10. ;------------------------------------------------------------
  11. proc d3d_unpack lpCompressed:DWORD,dLen:DWORD,lpOut:DWORD
  12.         pusha
  13.  
  14.         mov     dword [esp+28],0
  15.  
  16.         mov     eax,[lpCompressed]
  17.         ; Пропустить DWORD с размером данных
  18.         add     eax,4
  19.  
  20.         ; Распаковать данные
  21.         invoke  D3DDecompressShaders,eax,[dLen],1,0,0,0,blob,NULL
  22.         or      eax,eax
  23.         jnz     .loc_exit
  24.  
  25.         ; Получить указатель на распакованные данные
  26.         mov     eax,[blob]
  27.         mov     eax,[eax]
  28.         stdcall dword [eax+ID3D10Blob.GetBufferPointer],[blob]
  29.  
  30.         mov     esi,eax
  31.         mov     edi,[lpOut]
  32.  
  33.         ; Получить размер распакованных данных
  34.         mov     eax,[blob]
  35.         mov     eax,[eax]
  36.         stdcall dword [eax+ID3D10Blob.GetBufferSize],[blob]
  37.  
  38.         mov     [esp+28],eax
  39.  
  40.         ; Записать распакованные данные в буфер
  41.         mov     ecx,eax
  42.         rep     movsb
  43.  
  44.         ; Прибраться за собой
  45.         mov     eax,[blob]
  46.         mov     eax,[eax]
  47.         stdcall dword [eax+ID3D10Blob.Release],[blob]
  48. .loc_exit:
  49.         popa
  50.         ret
  51. endp
После выполнения функция D3DDecompressShaders также возвращает указатель на интерфейс ID3DBlob, через который по аналогии получаем указатель на распакованные данные и их размер.

В приложении примеры программ с исходными текстами. Это простейший упаковщик данных, работающий через командную строку, и программа, которая извлекает из памяти иконку с помощью D3D-функций, а затем выводит ее на форму.

Примеры программ с исходными текстами (FASM)Примеры программ с исходными текстами (FASM)

D3D.Pack.Unpack.Demo.zip (9,458 bytes)


Поделиться ссылкой ВКонтакте
Просмотров: 596 | Комментариев: 5

Комментарии

Отзывы посетителей сайта о статье
Petya (14.02.2024 в 16:47):
DRON, а что это за программа на скриншоте? Ни по названию, ни по картинке не ищется.
ManHunter (13.02.2024 в 10:55):
DRON, ну вот архив с этим микроскопическим cab, там же собранный вручную d3d и пример, который все это распаковывает: https://www.upload.ee/files/16...cab.zip.html
Что интересно, повторить такое сжатие больше не получается.

upd: там иконки разные :)) только сейчас заметил
DRON (13.02.2024 в 01:03):
Ну так и вам никто не мешает вызывать FCIAddFile(...,"S0000!",...,TYPE_LZX+LZX_WINDOW_HI) из cabinet.dll
и получить точно те же 1067+36=1103 байт.
Вот специально только что проверил: файлы созданные D3D и напрямую через FCI API совпадают побайтово с точностью до заголовка.

>Обычный makecab жмет тестовую иконку до 324 байт
Что за параметры у makecab? У меня на разных операционках всегда получается 1059 байт.

И вообще 324 байта выглядят сомнительно: https://imgur.com/a/tHfODUj
ManHunter (12.02.2024 в 21:06):
Только степень сжатия получается далеко не cab'овская. Обычный makecab жмет тестовую иконку до 324 байт, это даже если не учитывать 32+4 байта заголовка D3D.

А вот если исходный файл переименовать в "S0000!" и упаковать makecab, а потом слепить с заголовком, то такой бутерброд будет прекрасно распаковываться через D3DDecompressShaders.
DRON (12.02.2024 в 19:07):
Нет в природе никакого D3D сжатия: это всего лишь CAB-архив с приклеенным к нему заголовком в ~36 байт.
Потому и маленькие файлы плохо сжимаются: там не только заголовок CAB-архива плюс заголовок файла в нём, но и этот D3D заголовок.

Добавить комментарий

Заполните форму для добавления комментария
Имя*:
Текст комментария (не более 2000 символов)*:

*Все поля обязательны для заполнения.
Комментарии, содержащие рекламу, ненормативную лексику, оскорбления и т.п., а также флуд и сообщения не по теме, будут удаляться. Нарушителям может быть заблокирован доступ к сайту.
Это я :-)
Если программист в девять утра уже на работе, значит он там же и ночевал
Главная страница Web-мастеру и не только Образ мышления: Assembler Мои программы Software Темная сторона Силы Обзоры техники А еще я туда ем! Жизнь в оффлайне Всякая всячина
Карта сайта Ссылки Обратная связь Правила сайта Настройки сайта RSS-канал
Ограничение по возрасту 16+ Материалы, опубликованные на этом сайте, не рекомендуются к просмотру лицам в возрасте до 16 лет без присутствия взрослых.
Метки статей
.NET (30), AJAX (5), Assembler (362), COM (41), CSS (41), Exif (15), FASM (8), Firefox (7), HDD (17), Hello Teddy (9), HTML (51), iconBIT (4), JavaScript (73), MySQL (13), Nikon (19), PDF (10), PHP (122), Samsung (6), SEO (12), Sublime Text (9), TintonLife (4), UGREEN (4), Windows 7 (66), аккумуляторы (23), аксессуары (12), анализаторы файлов (8), архиваторы (6), аттракционы (7), безопасность (55), браузеры (16), бытовая техника (19), варенье (19), ВВЦ (9), ВДНХ (14), видео (20), Воробьевы горы (9), вторые блюда (125), выпечка (28), выставки (119), генератор ПСЧ (10), графика (120), десерты (31), Египет (8), заготовки на зиму (47), закуска (22), закуска к пиву (24), зарядные устройства (24), защита (15), зоопарки (10), игры (36), иконки (22), интерфейс (26), исследование защиты (317), каша (4), клавиатура (7), Коломенское (37), консоль (7), концерты (52), Кузьминки (4), куклы (27), ледяные скульптуры (6), мои программы (69), мониторы (6), музеи (78), мультимедиа (77), мясо (62), напитки (14), ноутбуки (8), обфускация (7), окна (69), оформление сайта (49), парки Москвы (7), песчаные скульптуры (13), плееры (10), подводная съемка (4), поздравления (130), полезные функции (42), прохождения (4), процессы (25), птица (20), путешествия (25), распаковка (22), реверсинг (52), рыба (35), салаты (19), сброс триала (4), сеть (36), система (178), Сокольники (8), соусы (14), супы (14), телефоны (10), Тунис (6), умный дом (13), файлы справки (6), фаст-фуд (18), фестиваль цветов (5), флешки (5), фото (23), хеши (16), числа (8), юмор (12), яйца (19), Яндекс (11)
Вам помог этот сайт?
Сказать спасибо! Поблагодарили 35,184 раза
<< 2024 - СЕНТЯБРЬ >>
Пн Вт Ср Чт Пт Сб Вс
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30            
Всемирный день безопасности пациентов
Нашли на сайте орфографическую ошибку? Выделите ее мышкой и нажмите
Ctrl
+
Enter
Буду очень благодарен, если размеcтите мою кнопочку:
Личный блог ManHunter'а
Valid CSS Valid XHTML 1.0 Transitional Valid mobileOK Basic Valid RSS
Яндекс тИЦ: {YANDEX_TIC} Яндекс ИКС: 360
Сейчас я слушаю
---
Имя:

Сообщение:

Осталось символов: 200

   
-
Наверх
Powered by PCL's Speckled Band Engine 0.2 RC3
© ManHunter / PCL, 2008-2024
При использовании материалов ссылка на сайт обязательна
Время генерации: 0.07 сек. / MySQL: 2 (0.0038 сек.) / Память: 4.5 Mb
Наверх