Операции с тензорами в TensorFlow
Тензоры — это основная структура данных в TensorFlow, которую можно понимать как расширение концепции многомерных массивов.
В машинном обучении почти все данные в конечном итоге представляются в тензорной форме для обработки.
Основные характеристики тензоров
- Тип данных (dtype): каждый тензор имеет определённый тип данных, например tf.float32, tf.int64 и т. д.
- Форма: представляет размер каждого измерения тензора, например (2,3) обозначает матрицу с 2 строками и 3 столбцами.
- Расположение на устройстве: указывает, хранится ли тензор на CPU или GPU.
Размерности тензоров
- 0-мерный тензор: скаляр, например,
tf.constant(5) - 1-мерный тензор: вектор, например,
tf.constant([1,2,3]) - 2-мерный тензор: матрица, например,
tf.constant([[1,2],[3,4]]) - 3-мерные и выше: тензоры более высокого порядка, например,
tf.ones((2,3,4))представляет две матрицы 3×4
Общие методы создания тензоров
1. Создание из списков Python/массивов NumPy
Пример
import tensorflow as tf
import numpy as np
# Создание из списка Python
tensor_from_list = tf.constant([[1, 2], [3, 4]])
# Создание из массива NumPy
numpy_array = np.array([[5, 6], [7, 8]])
tensor_from_numpy = tf.constant(numpy_array)
import numpy as np
# Создание из списка Python
tensor_from_list = tf.constant([[1, 2], [3, 4]])
# Создание из массива NumPy
numpy_array = np.array([[5, 6], [7, 8]])
tensor_from_numpy = tf.constant(numpy_array)
2. Создание тензоров специальных значений
Пример
# Тензор из всех нулей
zeros = tf.zeros((2, 3)) # Матрица из всех нулей с 2 строками и 3 столбцами
# Тензор из всех единиц
ones = tf.ones((3, 2)) # Матрица из всех единиц с 3 строками и 2 столбцами
# Единичная матрица
eye = tf.eye(3) # Единичная матрица 3×3
# Заполнить заданным значением
filled = tf.fill((2, 2), 7) # Матрица 2×2, все элементы равны 7
zeros = tf.zeros((2, 3)) # Матрица из всех нулей с 2 строками и 3 столбцами
# Тензор из всех единиц
ones = tf.ones((3, 2)) # Матрица из всех единиц с 3 строками и 2 столбцами
# Единичная матрица
eye = tf.eye(3) # Единичная матрица 3×3
# Заполнить заданным значением
filled = tf.fill((2, 2), 7) # Матрица 2×2, все элементы равны 7
3. Создание случайных тензоров
Пример
# Равномерно распределённые случайные числа
uniform = tf.random.uniform((2, 2), minval=0, maxval=1)
# Нормально распределённые случайные числа
normal = tf.random.normal((3, 3), mean=0, stddev=1)
# Случайная перестановка
shuffled = tf.random.shuffle(tf.constant([1, 2, 3, 4, 5]))
uniform = tf.random.uniform((2, 2), minval=0, maxval=1)
# Нормально распределённые случайные числа
normal = tf.random.normal((3, 3), mean=0, stddev=1)
# Случайная перестановка
shuffled = tf.random.shuffle(tf.constant([1, 2, 3, 4, 5]))
Базовые операции над тензорами
1. Математические операции
Пример
a = tf.constant([[1, 2], [3, 4]])
b = tf.constant([[5, 6], [7, 8]])
# Поэлементное сложение
add = tf.add(a, b) # Или используйте перегрузку операторов a + b
# Поэлементное умножение
mul = tf.multiply(a, b) # Или a * b
# Умножение матриц
matmul = tf.matmul(a, b) # Или a @ b
# Другие математические операции
sqrt = tf.sqrt(tf.cast(a, tf.float32)) # Квадратный корень (требуется преобразование к типу float)
b = tf.constant([[5, 6], [7, 8]])
# Поэлементное сложение
add = tf.add(a, b) # Или используйте перегрузку операторов a + b
# Поэлементное умножение
mul = tf.multiply(a, b) # Или a * b
# Умножение матриц
matmul = tf.matmul(a, b) # Или a @ b
# Другие математические операции
sqrt = tf.sqrt(tf.cast(a, tf.float32)) # Квадратный корень (требуется преобразование к типу float)
2. Операции с формой
Пример
tensor = tf.constant([[1, 2, 3], [4, 5, 6]])
# Получить форму
shape = tensor.shape # Возвращает (2, 3)
# Изменить форму (reshape)
reshaped = tf.reshape(tensor, (3, 2)) # Изменить на 3 строки и 2 столбца
# Транспонирование
transposed = tf.transpose(tensor) # Изменить на 3 строки и 2 столбца
# Расширить размерности (expand_dims)
expanded = tf.expand_dims(tensor, axis=0) # Форма изменяется с (2,3) на (1,2,3)
# Получить форму
shape = tensor.shape # Возвращает (2, 3)
# Изменить форму (reshape)
reshaped = tf.reshape(tensor, (3, 2)) # Изменить на 3 строки и 2 столбца
# Транспонирование
transposed = tf.transpose(tensor) # Изменить на 3 строки и 2 столбца
# Расширить размерности (expand_dims)
expanded = tf.expand_dims(tensor, axis=0) # Форма изменяется с (2,3) на (1,2,3)
3. Индексация и срезы
Пример
tensor = tf.constant([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
# Получить один элемент
elem = tensor[1, 2] # Получить элемент в строке 2, столбце 3 (значение равно 6)
# Операция среза
row = tensor[1, :] # Получить все элементы во 2-й строке [4,5,6]
col = tensor[:, 1] # Получить все элементы во 2-м столбце [2,5,8]
sub = tensor[0:2, 1:] # Получить строки 1-2, столбцы 2-3 [[2,3],[5,6]]
# Получить один элемент
elem = tensor[1, 2] # Получить элемент в строке 2, столбце 3 (значение равно 6)
# Операция среза
row = tensor[1, :] # Получить все элементы во 2-й строке [4,5,6]
col = tensor[:, 1] # Получить все элементы во 2-м столбце [2,5,8]
sub = tensor[0:2, 1:] # Получить строки 1-2, столбцы 2-3 [[2,3],[5,6]]
Механизм широковещания тензоров
Широковещание — важный механизм в TensorFlow для обработки операций с тензорами разных форм. Он автоматически расширяет меньший тензор, чтобы тот соответствовал форме большего тензора.
Правила широковещания
- Сравнивайте размерности, начиная с последней размерности и двигаясь вперёд.
- Две размерности совместимы, если они равны, или одна из них равна 1, или одна из них отсутствует.
- Выполните расширение, копируя вдоль отсутствующих размерностей или размерностей с размером 1.
Примеры широковещания
Пример
# Сложить вектор (3,) и скаляр ()
a = tf.constant([1, 2, 3])
b = tf.constant(2)
c = a + b # Результат — [3,4,5]; b транслируется в [2,2,2]
# Сложить матрицу (3,1) и вектор (3,)
d = tf.constant([[1], [2], [3]])
e = tf.constant([10, 20, 30])
f = d + e # d транслируется в [[1,1,1],[2,2,2],[3,3,3]]
# Результат — [[11,21,31],[12,22,32],[13,23,33]]
a = tf.constant([1, 2, 3])
b = tf.constant(2)
c = a + b # Результат — [3,4,5]; b транслируется в [2,2,2]
# Сложить матрицу (3,1) и вектор (3,)
d = tf.constant([[1], [2], [3]])
e = tf.constant([10, 20, 30])
f = d + e # d транслируется в [[1,1,1],[2,2,2],[3,3,3]]
# Результат — [[11,21,31],[12,22,32],[13,23,33]]
Операции агрегации тензоров
Общие функции агрегации
Пример
tensor = tf.constant([[1, 2, 3], [4, 5, 6]])
# Сумма
sum_all = tf.reduce_sum(tensor) # Сумма всех элементов → 21
sum_axis0 = tf.reduce_sum(tensor, 0) # Сумма вдоль размерности 0 (строки) → [5,7,9]
sum_axis1 = tf.reduce_sum(tensor, 1) # Сумма вдоль размерности 1 (столбцы) → [6,15]
# Вычислить среднее
mean_all = tf.reduce_mean(tensor) # Среднее всех элементов → 3.5
# Максимум/Минимум
max_val = tf.reduce_max(tensor) # Максимум → 6
min_val = tf.reduce_min(tensor) # Минимум → 1
# Логические операции
any_true = tf.reduce_any(tensor > 4) # Есть ли хотя бы один элемент > 4 → True
all_true = tf.reduce_all(tensor > 0) # Все ли элементы > 0 → True
# Сумма
sum_all = tf.reduce_sum(tensor) # Сумма всех элементов → 21
sum_axis0 = tf.reduce_sum(tensor, 0) # Сумма вдоль размерности 0 (строки) → [5,7,9]
sum_axis1 = tf.reduce_sum(tensor, 1) # Сумма вдоль размерности 1 (столбцы) → [6,15]
# Вычислить среднее
mean_all = tf.reduce_mean(tensor) # Среднее всех элементов → 3.5
# Максимум/Минимум
max_val = tf.reduce_max(tensor) # Максимум → 6
min_val = tf.reduce_min(tensor) # Минимум → 1
# Логические операции
any_true = tf.reduce_any(tensor > 4) # Есть ли хотя бы один элемент > 4 → True
all_true = tf.reduce_all(tensor > 0) # Все ли элементы > 0 → True
Практическое занятие
Упражнение 1: Создание тензоров и манипулирование ими
Пример
# 1. Создайте случайную матрицу 3×3 со значениями элементов от 0 до 10
random_matrix = tf.random.uniform((3, 3), minval=0, maxval=10, dtype=tf.int32)
# 2. Вычислите транспонирование матрицы
transposed_matrix = tf.transpose(random_matrix)
# 3. Вычислите произведение матрицы и её транспонирования
product = tf.matmul(random_matrix, transposed_matrix)
# 4. Вычислите сумму диагональных элементов матрицы произведения
diag_sum = tf.reduce_sum(tf.linalg.diag_part(product))
random_matrix = tf.random.uniform((3, 3), minval=0, maxval=10, dtype=tf.int32)
# 2. Вычислите транспонирование матрицы
transposed_matrix = tf.transpose(random_matrix)
# 3. Вычислите произведение матрицы и её транспонирования
product = tf.matmul(random_matrix, transposed_matrix)
# 4. Вычислите сумму диагональных элементов матрицы произведения
diag_sum = tf.reduce_sum(tf.linalg.diag_part(product))
Упражнение 2: Применение механизма широковещания
Пример
# 1. Создайте матрицу 4×1 и вектор 1×4
matrix = tf.constant([[1], [2], [3], [4]])
vector = tf.constant([10, 20, 30, 40])
# 2. Используйте механизм широковещания для вычисления их суммы
broadcast_sum = matrix + vector
# 3. Проверьте форму и значения результата
print("Форма:", broadcast_sum.shape) # Должно быть (4,4)
print("Результат:", broadcast_sum.numpy())
matrix = tf.constant([[1], [2], [3], [4]])
vector = tf.constant([10, 20, 30, 40])
# 2. Используйте механизм широковещания для вычисления их суммы
broadcast_sum = matrix + vector
# 3. Проверьте форму и значения результата
print("Форма:", broadcast_sum.shape) # Должно быть (4,4)
print("Результат:", broadcast_sum.numpy())