Модуль zlib Node.js
zlib — это основной встроенный модуль Node.js, который обеспечивает функциональность сжатия и распаковки данных. Он основан на библиотеке zlib (широко используемой библиотеке сжатия) и поддерживает несколько форматов сжатия, включая:
- Gzip: наиболее часто используемый формат сжатия
- Deflate: другой популярный алгоритм сжатия
- Brotli: новый алгоритм сжатия, разработанный Google
Почему необходимо сжатие данных
При передаче по сети или хранении файлов сжатие данных дает следующие преимущества:
- Сокращение потребления пропускной способности: сжатые данные имеют меньший размер и передаются быстрее
- Экономия места для хранения: сжатые файлы занимают меньше места на диске
- Повышение производительности: хотя сжатие/распаковка требует ресурсов ЦП, экономия на сетевом вводе-выводе обычно более значительна
Базовое использование
Сжатие данных
Пример
const fs = require('fs');
// Создать читаемый поток
const input = fs.createReadStream('input.txt');
// Создать поток сжатия Gzip
const gzip = zlib.createGzip();
// Создать поток для записи
const output = fs.createWriteStream('input.txt.gz');
// Соединение pipe: чтение -> сжатие -> запись
input.pipe(gzip).pipe(output);
Распаковка данных
Пример
const fs = require('fs');
// Создать поток для чтения (сжатый файл)
const input = fs.createReadStream('input.txt.gz');
// Создать поток распаковки Gunzip
const gunzip = zlib.createGunzip();
// Создать поток для записи
const output = fs.createWriteStream('input.txt');
// Соединение pipe: чтение -> распаковка -> запись
input.pipe(gunzip).pipe(output);
Подробно о методах сжатия
Модуль zlib предоставляет множество методов сжатия, подходящих для разных сценариев:
Синхронные методы
Подходит для обработки небольших объёмов данных; прост в использовании, но блокирует цикл событий:
Пример
const input = 'текстовые данные для сжатия';
// Синхронное сжатие
const compressed = zlib.deflateSync(input);
console.log('Сжато:', compressed.toString('base64'));
// Синхронная декомпрессия
const decompressed = zlib.inflateSync(compressed);
console.log('Распаковано:', decompressed.toString());
Асинхронные методы
Подходит для обработки больших объёмов данных; не блокирует цикл событий:
Пример
const input = 'текстовые данные для сжатия';
// Асинхронное сжатие
zlib.deflate(input, (err, compressed) => {
if (!err) {
console.log('Сжато:', compressed.toString('base64'));
// Асинхронная декомпрессия
zlib.inflate(compressed, (err, decompressed) => {
if (!err) {
console.log('Распаковано:', decompressed.toString());
}
});
}
});
Потоковая обработка
Наиболее подходит для обработки больших файлов или сетевых данных с высокой эффективностью использования памяти:
Пример
const fs = require('fs');
// Создание потока преобразования
const gzip = zlib.createGzip({
level: zlib.constants.Z_BEST_COMPRESSION // Максимальный уровень сжатия
});
fs.createReadStream('largefile.txt')
.pipe(gzip)
.pipe(fs.createWriteStream('largefile.txt.gz'))
.on('finish', () => console.log('Сжатие завершено'));
Дополнительные параметры конфигурации
Методы сжатия zlib могут принимать объект конфигурации для настройки поведения сжатия:
Общие параметры конфигурации
Пример
level: zlib.constants.Z_DEFAULT_COMPRESSION, // Уровень сжатия
memLevel: 8, // Уровень использования памяти
strategy: zlib.constants.Z_DEFAULT_STRATEGY, // Стратегия сжатия
windowBits: 15, // Размер окна
chunkSize: 16 * 1024, // Размер фрагмента
dictionary: null // Предустановленный словарь
}
Объяснение уровней сжатия
| Константы уровня | Значение | Описание |
|---|---|---|
| Z_NO_COMPRESSION | 0 | Без сжатия |
| Z_BEST_SPEED | 1 | Наибольшая скорость, наименьшая степень сжатия |
| Z_BEST_COMPRESSION | 9 | Наибольшая степень сжатия, наименьшая скорость |
| Z_DEFAULT_COMPRESSION | -1 | Компромисс по умолчанию (обычно = 6) |
Практические сценарии применения
Сжатие HTTP-ответов
Сжатие HTTP-ответов в веб-сервере может значительно уменьшить объём передаваемых данных:
Пример
const zlib = require('zlib');
http.createServer((req, res) => {
const responseText = 'Это текст ответа, который необходимо сжать'.repeat(100);
// Проверить, принимает ли клиент gzip-сжатие
if (req.headers['accept-encoding'] && req.headers['accept-encoding'].includes('gzip')) {
res.writeHead(200, {
'Content-Encoding': 'gzip',
'Content-Type': 'text/plain'
});
zlib.gzip(responseText, (err, compressed) => {
res.end(compressed);
});
} else {
res.writeHead(200, {'Content-Type': 'text/plain'});
res.end(responseText);
}
}).listen(3000);
Сжатие и архивирование файлов
Пакетное сжатие нескольких файлов:
Пример
const fs = require('fs');
const path = require('path');
const { pipeline } = require('stream');
const files = ['file1.txt', 'file2.txt', 'file3.txt'];
files.forEach(file => {
const input = fs.createReadStream(file);
const output = fs.createWriteStream(`${file}.gz`);
pipeline(
input,
zlib.createGzip(),
output,
(err) => {
if (err) console.error(`Сжатие ${file}не удалось:`, err);
else console.log(`Успешно сжато ${file}`);
}
);
});
Оптимизация хранилища базы данных
Сжатие больших данных JSON перед сохранением:
Пример
const fs = require('fs');
const largeData = {
/* Большой объект JSON */
};
// Сжать, затем сохранить
zlib.deflate(JSON.stringify(largeData), (err, compressed) => {
if (!err) {
fs.writeFile('data.json.deflate', compressed, (err) => {
if (!err) console.log('Данные успешно сжаты и сохранены');
});
}
});
// Распаковать при чтении
fs.readFile('data.json.deflate', (err, data) => {
if (!err) {
zlib.inflate(data, (err, decompressed) => {
if (!err) {
const originalData = JSON.parse(decompressed.toString());
console.log('Данные успешно восстановлены');
}
});
}
});
Советы по оптимизации производительности
Выбор подходящего уровня сжатия
- Передача по сети: Z_BEST_SPEED (1) до Z_DEFAULT_COMPRESSION (-1/6)
- Архивирование для хранения: Z_BEST_COMPRESSION (9)
Использование потоковой обработки для больших файлов
Избегайте использования синхронных методов или обработки больших файлов за один раз, чтобы не исчерпать память.
Повторно используйте экземпляры zlib
Для высокочастотных операций сжатия можно повторно использовать экземпляры zlib:
Пример
const gzip = zlib.createGzip();
// Повторно используйте один и тот же экземпляр gzip для обработки нескольких файлов
function compressFile(inputFile, outputFile) {
return new Promise((resolve, reject) => {
fs.createReadStream(inputFile)
.pipe(gzip)
.pipe(fs.createWriteStream(outputFile))
.on('finish', resolve)
.on('error', reject);
});
}
Обработка ошибок
Правильно обрабатывайте ошибки во время сжатия/распаковки:
Пример
// Обработка ошибок при потоковой передаче
inputStream
.pipe(zlib.createGunzip())
.pipe(outputStream)
.on('error', (err) => {
console.error('Ошибка при распаковке:', err);
// Освободить ресурсы
});
// Обработка ошибок для асинхронных обратных вызовов
zlib.gzip(inputData, (err, compressed) => {
if (err) {
console.error('Ошибка сжатия:', err);
return;
}
// Обработка сжатых данных
});
Часто задаваемые вопросы
Что делать, если сжатые данные больше исходных?
Обычно это происходит, когда:
- Данные уже сжаты (например, JPEG, MP3 и т. д.)
- Данные очень малы (заголовок сжатия может быть больше самих данных)
- Использован неподходящий уровень сжатия
Решения:
- Проверьте, не сжаты ли данные уже
- Отключите сжатие для небольших данных
- Попробуйте разные уровни сжатия
Как определить, являются ли данные уже сжатыми?
Вы можете определить это, проверив заголовок файла или попытавшись распаковать:
Пример
return buffer.length >= 3 &&
buffer[0] === 0x1F &&
buffer[1] === 0x8B &&
buffer[2] === 0x08;
}
Как обрабатывать повреждённые сжатые данные?
Пример
const decompressed = zlib.inflateSync(compressedData);
} catch (err) {
if (err.code === 'Z_DATA_ERROR') {
console.error('Data corrupted or format incorrect');
} else {
console.error('Decompression error:', err);
}
}
Итог
Модуль zlib в Node.js предоставляет мощные возможности сжатия и распаковки данных. При правильном использовании он может:
- Значительно уменьшить объём данных, передаваемых по сети
- Экономьте дисковое пространство
- Повышайте общую производительность приложения
Ключевые моменты:
- Выбирайте синхронную, асинхронную или потоковую обработку в зависимости от сценария
- Правильно настраивайте параметры сжатия, чтобы сбалансировать скорость и степень сжатия
- Правильно обрабатывайте ошибки и граничные случаи
- Используйте потоковую обработку для больших файлов, чтобы избежать проблем с памятью
Освоив модуль zlib, вы сможете добавить в приложения Node.js эффективные возможности сжатия данных, оптимизируя использование ресурсов и пользовательский опыт.
Другие расширения
Встроенные модули Node.js