Модуль Buffer в Node.js

Java FileВстроенные модули Node.js


Buffer — это класс в Node.js, используемый для обработки потоков бинарных данных. В компьютерах все данные в конечном итоге хранятся и передаются в двоичной форме, и Buffer предоставляет способ эффективной обработки этих необработанных бинарных данных в Node.js.

Buffer можно представить как "контейнер" фиксированного размера, специально предназначенный для хранения необработанных бинарных данных. В отличие от обычных массивов в JavaScript, Buffer выделяет блок памяти фиксированного размера, что делает его более эффективным при обработке больших объёмов бинарных данных.


Зачем нам нужен Buffer?

В веб-разработке нам часто приходится обрабатывать различные бинарные данные, такие как:

  • Операции чтения и записи файлов
  • Передача данных при сетевом взаимодействии
  • Обработка изображений
  • Операции шифрования и дешифрования

JavaScript изначально проектировался в основном для работы с DOM в браузерах и обладал ограниченными возможностями обработки двоичных данных. Node.js как серверная среда выполнения нуждается в более мощных возможностях обработки двоичных данных, поэтому и существует модуль Buffer.


Создание Buffer

В Node.js существует несколько способов создать Buffer:

1. Использование Buffer.alloc()

Пример

// Создать Buffer длиной 10 байт, заполненный 0
const buf1 = Buffer.alloc(10);
console.log(buf1); // <Buffer 00 00 00 00 00 00 00 00 00 00>

2. Использование Buffer.allocUnsafe()

Пример

// Создать Buffer длиной 10 байт, но не инициализировать содержимое
// Может содержать старые данные, поэтому это быстрее, но менее безопасно
const buf2 = Buffer.allocUnsafe(10);
console.log(buf2); // <содержимое Buffer не определено>

3. Создание из массива

Пример

// Создать Buffer из массива
const buf3 = Buffer.from([0x62, 0x75, 0x66, 0x66, 0x65, 0x72]);
console.log(buf3); // <Buffer 62 75 66 66 65 72>

4. Создание из строки

Пример

// Создать Buffer из строки
const buf4 = Buffer.from('Hello Node.js');
console.log(buf4); // <Buffer 48 65 6c 6c 6f 20 4e 6f 64 65 2e 6a 73>

Общие методы Buffer

Запись данных

Пример

const buf = Buffer.alloc(5);

// Записать строку
buf.write('Hello');
console.log(buf); // <Buffer 48 65 6c 6c 6f>

// Указать кодировку при записи
const buf2 = Buffer.alloc(10);
buf2.write('Hello', 'utf8');
console.log(buf2); // <Buffer e4 bd a0 e5 a5 bd 00 00 00 00>

Чтение данных

Пример

const buf = Buffer.from('Hello World');

// Прочитать как строку
console.log(buf.toString()); // Hello World

// Прочитать часть содержимого
console.log(buf.toString('utf8', 0, 5)); // Hello

Копирование буфера

Пример

const buf1 = Buffer.from('Hello');
const buf2 = Buffer.from('World');
const buf3 = Buffer.alloc(10);

buf1.copy(buf3, 0); // Копировать buf1 в начало buf3
buf2.copy(buf3, 5); // Копировать buf2 в позицию, начиная с 5-го байта buf3

console.log(buf3.toString()); // HelloWorld

Конкатенация буферов

Пример

const buf1 = Buffer.from('Hello');
const buf2 = Buffer.from(' ');
const buf3 = Buffer.from('World');

const result = Buffer.concat([buf1, buf2, buf3]);
console.log(result.toString()); // Hello World

Buffer и строки

Buffer и строки можно преобразовывать друг в друга, но нужно обратить внимание на кодировку. Обычные кодировки:

  • 'utf8' (по умолчанию)
  • 'ascii'
  • 'base64'
  • 'hex'

Пример

Пример

// Преобразовать строку в Buffer
const str = 'Hello Buffer';
const buf = Buffer.from(str);

// Преобразовать Buffer в строку
console.log(buf.toString()); // Hello Buffer

// Использовать разные кодировки
console.log(buf.toString('hex')); // 48656c6c6f20427566666572
console.log(buf.toString('base64')); // SGVsbG8gQnVmZmVy

Практическое применение Buffer

1. Операции с файлами

Пример

const fs = require('fs');

// Прочитать файл в Buffer
fs.readFile('example.txt', (err, data) => {
  if (err) throw err;
  console.log(data); // <Buffer ...>
  console.log(data.toString()); // Содержимое файла
});

// Записать Buffer в файл
const content = Buffer.from('Привет, файловая система');
fs.writeFile('output.txt', content, (err) => {
  if (err) throw err;
  console.log('Файл сохранён');
});

2. Сетевое взаимодействие

Пример

const http = require('http');

http.createServer((req, res) => {
  const chunks = [];
 
  req.on('data', (chunk) => {
    chunks.push(chunk); // Собрать фрагменты данных
  });
 
  req.on('end', () => {
    const body = Buffer.concat(chunks); // Объединить все фрагменты данных
    console.log(`Полученные данные: ${body.toString()}`);
    res.end('Данные получены');
  });
}).listen(3000);

3. Обработка изображений

Пример

const fs = require('fs');
const sharp = require('sharp');

// Считать изображение в Buffer
fs.readFile('input.jpg', (err, data) => {
  if (err) throw err;
 
  // Использовать sharp для обработки данных изображения в Buffer
  sharp(data)
    .resize(200, 200)
    .toBuffer()
    .then(outputBuffer => {
      // Записать обработанный Buffer в файл
      fs.writeFile('output.jpg', outputBuffer, err => {
        if (err) throw err;
        console.log('Обработка изображения завершена');
      });
    });
});

Примечания

  1. Управление памятью: Buffer работает напрямую с памятью; выделение больших буферов может повлиять на производительность приложения.

  2. Безопасность:Buffer.allocUnsafe()Может содержать конфиденциальные данные, поэтому будьте осторожны при его использовании.

  3. Согласованная кодировка: при преобразовании между Buffer и string обязательно используйте одну и ту же кодировку.

  4. Различия версий: Buffer API в старых версиях Node.js (v5.x и более ранних) отличается от новых версий; рекомендуется использовать новейшую версию API.

  5. Аспекты производительности: При крупномасштабной обработке данных правильное использование Buffer может значительно повысить производительность.

Buffer — это базовый модуль в Node.js для работы с двоичными данными. Понимание принципов его работы и методов использования крайне важно для разработки эффективных и надежных приложений Node.js.


BufferСписок методов и свойств модуля

BufferЭто базовый модуль в Node.js, используемый для работы с двоичными данными. Ниже перечислены основные методы и свойства модуля Buffer:

Свойства класса Buffer

Свойство/Метод Описание Добавлено в версии
Buffer.poolSize Размер предварительно выделенного внутреннего экземпляра Buffer (bytes), изменяемый 0.11.3
Buffer.from() Создает новый Buffer из строки, массива или буфера 5.10.0
Buffer.alloc() Создать инициализированный Buffer указанного размера 5.10.0
Buffer.allocUnsafe() Создать неинициализированный Buffer указанного размера (быстрее, но небезопасно) 5.10.0
Buffer.allocUnsafeSlow() Создать неинициализированный Buffer (без использования общего пула памяти) 5.12.0
Buffer.isBuffer() Проверить, является ли объект Buffer 0.1.101
Buffer.isEncoding() Проверить, является ли кодировка допустимой 0.9.1
Buffer.concat() Объединить массив Buffer 0.7.11
Buffer.byteLength() Возвращает длину строки в байтах 0.1.90
Buffer.compare() Сравнивает два Buffer 0.11.13

Методы экземпляра Buffer

Метод Описание Добавлено в версии
buf.length Длина Buffer в байтах 0.1.90
buf.write() Записывает строку в Buffer 0.1.90
buf.toString() Декодирует Buffer в строку 0.1.90
buf.toJSON() Возвращает JSON-представление Buffer 0.9.2
buf.equals() Сравнить, равны ли два Buffer 0.11.13
buf.compare() Сравнить Buffer и вернуть порядок сортировки 0.11.13
buf.copy() Копировать данные Buffer 0.1.90
buf.slice() Создать частичное представление Buffer 0.3.0
buf.includes() Проверить, содержит ли Buffer значение 5.3.0
buf.indexOf() Вернуть позицию первого вхождения значения 1.5.0
buf.lastIndexOf() Возвращает позицию последнего вхождения значения 6.0.0
buf.fill() Заполняет Buffer указанным значением 0.5.0
buf.readUIntLE() Читает целое число без знака в формате little-endian 0.5.5
buf.readUIntBE() Читает целое число без знака в формате big-endian 0.5.5
buf.readIntLE() Читает целое число со знаком в формате little-endian 0.11.15
buf.readIntBE() Читает целое число со знаком в формате big-endian 0.11.15
buf.readDoubleBE() Прочитать 64-битное число с плавающей запятой двойной точности в формате big-endian 0.11.15
buf.readDoubleLE() Прочитать 64-битное число с плавающей запятой двойной точности в формате little-endian 0.11.15
buf.readFloatBE() Прочитать 32-битное число с плавающей запятой в формате big-endian 0.11.15
buf.readFloatLE() Прочитать 32-битное число с плавающей запятой в формате little-endian 0.11.15
buf.writeUIntLE() Записать беззнаковое целое число в формате little-endian 0.5.5
buf.writeUIntBE() Записать беззнаковое целое число в формате big-endian 0.5.5
buf.writeIntLE() Записать знаковое целое число в формате little-endian 0.11.15
buf.writeIntBE() Записать знаковое целое число в формате big-endian 0.11.15
buf.writeDoubleBE() Записать 64-битное число с плавающей точкой двойной точности в формате big-endian 0.11.15
buf.writeDoubleLE() Записать 64-битное число с плавающей точкой двойной точности в формате little-endian 0.11.15
buf.writeFloatBE() Записать 32-битное число с плавающей точкой в формате big-endian 0.11.15
buf.writeFloatLE() Записать 32-битное число с плавающей точкой в формате little-endian 0.11.15
buf.swap16() Поменять порядок байтов для 16-битных значений 5.10.0
buf.swap32() Поменять порядок байтов для 32-битных значений 5.10.0
buf.swap64() Поменять порядок байтов для 64-битных значений 6.3.0
buf.keys() Создать итератор ключей Buffer 1.1.0
buf.values() Создать итератор значений Buffer 1.1.0
buf.entries() Создать итератор для [index, byte] 1.1.0

Типы кодирования

Типы кодирования, поддерживаемые Buffer:

Кодирование Описание
utf8 Многобайтовые символы Unicode
utf16le 2- или 4-байтовые символы Unicode
latin1 ISO-8859-1
ascii Только 7-битные данные ASCII
base64 Кодирование Base64
base64url URL-безопасное кодирование Base64
hex Шестнадцатеричное кодирование
ucs2 Псевдоним для utf16le
двоичная Псевдоним для latin1 (устаревший)

Пример

// Создать Buffer
const buf1 = Buffer.alloc(10); // Инициализировать Buffer, заполненный нулями
const buf2 = Buffer.from('hello'); // Создать из строки
const buf3 = Buffer.from([1, 2, 3]); // Создать из массива

// Запись и чтение
buf1.write('Node.js');
console.log(buf1.toString('utf8', 0, 6)); // 'Node.js'

// Сравнение буферов
const bufA = Buffer.from('A');
const bufB = Buffer.from('B');
console.log(bufA.compare(bufB)); // -1

// Конкатенация буферов
const concatBuf = Buffer.concat([bufA, bufB]);

Java FileВстроенные модули Node.js

Другие расширения