Модуль Buffer в Node.js
Buffer — это класс в Node.js, используемый для обработки потоков бинарных данных. В компьютерах все данные в конечном итоге хранятся и передаются в двоичной форме, и Buffer предоставляет способ эффективной обработки этих необработанных бинарных данных в Node.js.
Buffer можно представить как "контейнер" фиксированного размера, специально предназначенный для хранения необработанных бинарных данных. В отличие от обычных массивов в JavaScript, Buffer выделяет блок памяти фиксированного размера, что делает его более эффективным при обработке больших объёмов бинарных данных.
Зачем нам нужен Buffer?
В веб-разработке нам часто приходится обрабатывать различные бинарные данные, такие как:
- Операции чтения и записи файлов
- Передача данных при сетевом взаимодействии
- Обработка изображений
- Операции шифрования и дешифрования
JavaScript изначально проектировался в основном для работы с DOM в браузерах и обладал ограниченными возможностями обработки двоичных данных. Node.js как серверная среда выполнения нуждается в более мощных возможностях обработки двоичных данных, поэтому и существует модуль Buffer.
Создание Buffer
В Node.js существует несколько способов создать Buffer:
1. Использование Buffer.alloc()
Пример
const buf1 = Buffer.alloc(10);
console.log(buf1); // <Buffer 00 00 00 00 00 00 00 00 00 00>
2. Использование Buffer.allocUnsafe()
Пример
// Может содержать старые данные, поэтому это быстрее, но менее безопасно
const buf2 = Buffer.allocUnsafe(10);
console.log(buf2); // <содержимое Buffer не определено>
3. Создание из массива
Пример
const buf3 = Buffer.from([0x62, 0x75, 0x66, 0x66, 0x65, 0x72]);
console.log(buf3); // <Buffer 62 75 66 66 65 72>
4. Создание из строки
Пример
const buf4 = Buffer.from('Hello Node.js');
console.log(buf4); // <Buffer 48 65 6c 6c 6f 20 4e 6f 64 65 2e 6a 73>
Общие методы Buffer
Запись данных
Пример
// Записать строку
buf.write('Hello');
console.log(buf); // <Buffer 48 65 6c 6c 6f>
// Указать кодировку при записи
const buf2 = Buffer.alloc(10);
buf2.write('Hello', 'utf8');
console.log(buf2); // <Buffer e4 bd a0 e5 a5 bd 00 00 00 00>
Чтение данных
Пример
// Прочитать как строку
console.log(buf.toString()); // Hello World
// Прочитать часть содержимого
console.log(buf.toString('utf8', 0, 5)); // Hello
Копирование буфера
Пример
const buf2 = Buffer.from('World');
const buf3 = Buffer.alloc(10);
buf1.copy(buf3, 0); // Копировать buf1 в начало buf3
buf2.copy(buf3, 5); // Копировать buf2 в позицию, начиная с 5-го байта buf3
console.log(buf3.toString()); // HelloWorld
Конкатенация буферов
Пример
const buf2 = Buffer.from(' ');
const buf3 = Buffer.from('World');
const result = Buffer.concat([buf1, buf2, buf3]);
console.log(result.toString()); // Hello World
Buffer и строки
Buffer и строки можно преобразовывать друг в друга, но нужно обратить внимание на кодировку. Обычные кодировки:
- 'utf8' (по умолчанию)
- 'ascii'
- 'base64'
- 'hex'
Пример
Пример
const str = 'Hello Buffer';
const buf = Buffer.from(str);
// Преобразовать Buffer в строку
console.log(buf.toString()); // Hello Buffer
// Использовать разные кодировки
console.log(buf.toString('hex')); // 48656c6c6f20427566666572
console.log(buf.toString('base64')); // SGVsbG8gQnVmZmVy
Практическое применение Buffer
1. Операции с файлами
Пример
// Прочитать файл в Buffer
fs.readFile('example.txt', (err, data) => {
if (err) throw err;
console.log(data); // <Buffer ...>
console.log(data.toString()); // Содержимое файла
});
// Записать Buffer в файл
const content = Buffer.from('Привет, файловая система');
fs.writeFile('output.txt', content, (err) => {
if (err) throw err;
console.log('Файл сохранён');
});
2. Сетевое взаимодействие
Пример
http.createServer((req, res) => {
const chunks = [];
req.on('data', (chunk) => {
chunks.push(chunk); // Собрать фрагменты данных
});
req.on('end', () => {
const body = Buffer.concat(chunks); // Объединить все фрагменты данных
console.log(`Полученные данные: ${body.toString()}`);
res.end('Данные получены');
});
}).listen(3000);
3. Обработка изображений
Пример
const sharp = require('sharp');
// Считать изображение в Buffer
fs.readFile('input.jpg', (err, data) => {
if (err) throw err;
// Использовать sharp для обработки данных изображения в Buffer
sharp(data)
.resize(200, 200)
.toBuffer()
.then(outputBuffer => {
// Записать обработанный Buffer в файл
fs.writeFile('output.jpg', outputBuffer, err => {
if (err) throw err;
console.log('Обработка изображения завершена');
});
});
});
Примечания
Управление памятью: Buffer работает напрямую с памятью; выделение больших буферов может повлиять на производительность приложения.
Безопасность:
Buffer.allocUnsafe()Может содержать конфиденциальные данные, поэтому будьте осторожны при его использовании.Согласованная кодировка: при преобразовании между Buffer и string обязательно используйте одну и ту же кодировку.
Различия версий: Buffer API в старых версиях Node.js (v5.x и более ранних) отличается от новых версий; рекомендуется использовать новейшую версию API.
Аспекты производительности: При крупномасштабной обработке данных правильное использование Buffer может значительно повысить производительность.
Buffer — это базовый модуль в Node.js для работы с двоичными данными. Понимание принципов его работы и методов использования крайне важно для разработки эффективных и надежных приложений Node.js.
BufferСписок методов и свойств модуля
BufferЭто базовый модуль в Node.js, используемый для работы с двоичными данными. Ниже перечислены основные методы и свойства модуля Buffer:
Свойства класса Buffer
| Свойство/Метод | Описание | Добавлено в версии |
|---|---|---|
| Buffer.poolSize | Размер предварительно выделенного внутреннего экземпляра Buffer (bytes), изменяемый | 0.11.3 |
| Buffer.from() | Создает новый Buffer из строки, массива или буфера | 5.10.0 |
| Buffer.alloc() | Создать инициализированный Buffer указанного размера | 5.10.0 |
| Buffer.allocUnsafe() | Создать неинициализированный Buffer указанного размера (быстрее, но небезопасно) | 5.10.0 |
| Buffer.allocUnsafeSlow() | Создать неинициализированный Buffer (без использования общего пула памяти) | 5.12.0 |
| Buffer.isBuffer() | Проверить, является ли объект Buffer | 0.1.101 |
| Buffer.isEncoding() | Проверить, является ли кодировка допустимой | 0.9.1 |
| Buffer.concat() | Объединить массив Buffer | 0.7.11 |
| Buffer.byteLength() | Возвращает длину строки в байтах | 0.1.90 |
| Buffer.compare() | Сравнивает два Buffer | 0.11.13 |
Методы экземпляра Buffer
| Метод | Описание | Добавлено в версии |
|---|---|---|
| buf.length | Длина Buffer в байтах | 0.1.90 |
| buf.write() | Записывает строку в Buffer | 0.1.90 |
| buf.toString() | Декодирует Buffer в строку | 0.1.90 |
| buf.toJSON() | Возвращает JSON-представление Buffer | 0.9.2 |
| buf.equals() | Сравнить, равны ли два Buffer | 0.11.13 |
| buf.compare() | Сравнить Buffer и вернуть порядок сортировки | 0.11.13 |
| buf.copy() | Копировать данные Buffer | 0.1.90 |
| buf.slice() | Создать частичное представление Buffer | 0.3.0 |
| buf.includes() | Проверить, содержит ли Buffer значение | 5.3.0 |
| buf.indexOf() | Вернуть позицию первого вхождения значения | 1.5.0 |
| buf.lastIndexOf() | Возвращает позицию последнего вхождения значения | 6.0.0 |
| buf.fill() | Заполняет Buffer указанным значением | 0.5.0 |
| buf.readUIntLE() | Читает целое число без знака в формате little-endian | 0.5.5 |
| buf.readUIntBE() | Читает целое число без знака в формате big-endian | 0.5.5 |
| buf.readIntLE() | Читает целое число со знаком в формате little-endian | 0.11.15 |
| buf.readIntBE() | Читает целое число со знаком в формате big-endian | 0.11.15 |
| buf.readDoubleBE() | Прочитать 64-битное число с плавающей запятой двойной точности в формате big-endian | 0.11.15 |
| buf.readDoubleLE() | Прочитать 64-битное число с плавающей запятой двойной точности в формате little-endian | 0.11.15 |
| buf.readFloatBE() | Прочитать 32-битное число с плавающей запятой в формате big-endian | 0.11.15 |
| buf.readFloatLE() | Прочитать 32-битное число с плавающей запятой в формате little-endian | 0.11.15 |
| buf.writeUIntLE() | Записать беззнаковое целое число в формате little-endian | 0.5.5 |
| buf.writeUIntBE() | Записать беззнаковое целое число в формате big-endian | 0.5.5 |
| buf.writeIntLE() | Записать знаковое целое число в формате little-endian | 0.11.15 |
| buf.writeIntBE() | Записать знаковое целое число в формате big-endian | 0.11.15 |
| buf.writeDoubleBE() | Записать 64-битное число с плавающей точкой двойной точности в формате big-endian | 0.11.15 |
| buf.writeDoubleLE() | Записать 64-битное число с плавающей точкой двойной точности в формате little-endian | 0.11.15 |
| buf.writeFloatBE() | Записать 32-битное число с плавающей точкой в формате big-endian | 0.11.15 |
| buf.writeFloatLE() | Записать 32-битное число с плавающей точкой в формате little-endian | 0.11.15 |
| buf.swap16() | Поменять порядок байтов для 16-битных значений | 5.10.0 |
| buf.swap32() | Поменять порядок байтов для 32-битных значений | 5.10.0 |
| buf.swap64() | Поменять порядок байтов для 64-битных значений | 6.3.0 |
| buf.keys() | Создать итератор ключей Buffer | 1.1.0 |
| buf.values() | Создать итератор значений Buffer | 1.1.0 |
| buf.entries() | Создать итератор для [index, byte] | 1.1.0 |
Типы кодирования
Типы кодирования, поддерживаемые Buffer:
| Кодирование | Описание |
|---|---|
| utf8 | Многобайтовые символы Unicode |
| utf16le | 2- или 4-байтовые символы Unicode |
| latin1 | ISO-8859-1 |
| ascii | Только 7-битные данные ASCII |
| base64 | Кодирование Base64 |
| base64url | URL-безопасное кодирование Base64 |
| hex | Шестнадцатеричное кодирование |
| ucs2 | Псевдоним для utf16le |
| двоичная | Псевдоним для latin1 (устаревший) |
Пример
const buf1 = Buffer.alloc(10); // Инициализировать Buffer, заполненный нулями
const buf2 = Buffer.from('hello'); // Создать из строки
const buf3 = Buffer.from([1, 2, 3]); // Создать из массива
// Запись и чтение
buf1.write('Node.js');
console.log(buf1.toString('utf8', 0, 6)); // 'Node.js'
// Сравнение буферов
const bufA = Buffer.from('A');
const bufB = Buffer.from('B');
console.log(bufA.compare(bufB)); // -1
// Конкатенация буферов
const concatBuf = Buffer.concat([bufA, bufB]);
Встроенные модули Node.js