Пример TensorFlow - Проект классификации текста
Классификация текста — фундаментальная задача обработки естественного языка (NLP), которая заключается в автоматической классификации текстовых документов по одной или нескольким заранее заданным категориям. В практических приложениях классификация текста широко используется для:
- Обнаружение спама
- Анализ тональности
- Классификация новостей
- Классификация диалогов службы поддержки
- Классификация отзывов о товарах
Реализация классификации текста с помощью TensorFlow обычно включает следующие шаги:
- Подготовка и предварительная обработка данных
- Векторизация текста
- Построение модели
- Обучение модели
- Оценка модели
- Развёртывание модели
Подготовка окружения
Перед началом проекта убедитесь, что установлены следующие библиотеки Python:
!pip install tensorflow !pip install numpy !pip install pandas !pip install matplotlib
Импортируйте необходимые библиотеки:
Пример
from tensorflow.keras import layers
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
Проверьте версию TensorFlow:
Пример
# Пример вывода: 2.8.0
Подготовка набора данных
Мы будем использовать набор данных с отзывами о фильмах IMDB, который представляет собой классический набор данных для бинарной классификации, содержащий 50,000 отзывов о фильмах с метками положительный (1) или отрицательный (0).
Загрузка набора данных
Пример
imdb = tf.keras.datasets.imdb
# Оставить только 10,000 наиболее часто встречающихся слов
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
Исследование данных
Просмотр формата данных:
Пример
# Вывод: Обучающих примеров: 25000, Тестовых примеров: 25000
# Просмотр первого отзыва
print(train_data[0])
# Вывод: [1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, ...]
Предобработка данных
Преобразование целочисленных последовательностей в multi-hot кодирование:
Пример
results = np.zeros((len(sequences), dimension))
for i, sequence in enumerate(sequences):
результаты[i, последовательность] = 1.
return results
x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)
# Преобразовать метки в числа с плавающей точкой
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')
Построение модели
Архитектура модели
Мы построим простую полносвязную нейронную сеть:
Пример
layers.Dense(16, activation='relu', input_shape=(10000,)),
layers.Dense(16, activation='relu'),
layers.Dense(1, activation='sigmoid')
])
Компиляция модели
Пример
loss='binary_crossentropy',
metrics=['accuracy'])
Описание параметра:
optimizer: Оптимизатор управляет процессом обученияloss: Функция потерь измеряет разницу между предсказаниями модели и истинными меткамиmetrics: Метрика оценки, отслеживает этапы обучения и тестирования
Обучить модель
Создать валидационный набор
Пример
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]
Процесс обучения
Пример
partial_y_train,
epochs=20,
batch_size=512,
validation_data=(x_val, y_val))
Визуализировать результаты обучения
Пример
# Построить график потерь на обучении и валидации
plt.plot(history_dict['loss'], 'bo', label='Потери при обучении')
plt.plot(history_dict['val_loss'], 'b', label='Потери при валидации')
plt.title('Потери при обучении и валидации')
plt.xlabel('Эпохи')
plt.ylabel('Потери')
plt.legend()
plt.show()
# График точности обучения и валидации
plt.plot(history_dict['accuracy'], 'bo', label='Точность обучения')
plt.plot(history_dict['val_accuracy'], 'b', label='Точность валидации')
plt.title('Точность обучения и валидации')
plt.xlabel('Эпохи')
plt.ylabel('Точность')
plt.legend()
plt.show()
Оценка и прогнозирование модели
Оценка производительности на тестовом наборе
Пример
print(results)
# Пример вывода: [0.3245, 0.8732] представляет потери и точность
Сделать предсказания
Пример
print(predictions[0]) # Вероятность предсказания для первого тестового образца
Предложения по оптимизации модели
Настройте архитектуру сети:
- Увеличьте или уменьшите количество скрытых слоёв
- Попробуйте разное количество нейронов
- Используйте разные функции активации
Методы регуляризации:
- Добавьте слои Dropout, чтобы предотвратить переобучение
- Используйте L1/L2-регуляризацию
Выбор оптимизатора:
- Попробуйте другие оптимизаторы, такие как Adam, SGD, и т. д.
- Настройте скорость обучения
Улучшения предварительной обработки текста:
- Используйте эмбеддинги слов вместо multi-hot кодирования
- Попробуйте предобученные словные векторы (такие как Word2Vec, GloVe)
Полный пример кода
Пример
from tensorflow.keras import layers
import numpy as np
import matplotlib.pyplot as plt
# Загрузить данные
imdb = tf.keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
# Предварительная обработка данных
def vectorize_sequences(sequences, dimension=10000):
results = np.zeros((len(sequences), dimension))
for i, sequence in enumerate(sequences):
результаты[i, последовательность] = 1.
return results
x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')
# Построение модели
model = tf.keras.Sequential([
layers.Dense(16, activation='relu', input_shape=(10000,)),
layers.Dense(16, activation='relu'),
layers.Dense(1, activation='sigmoid')
])
# Компиляция модели
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])
# Обучите модель
history = model.fit(x_train, y_train,
epochs=4,
batch_size=512,
validation_data=(x_test, y_test))
# Оценка модели
results = model.evaluate(x_test, y_test)
print("Потери и точность на тесте:", results)
# Сделать предсказания
predictions = model.predict(x_test)
print("Вероятность предсказания для первого отзыва:", predictions[0])