Пример TensorFlow - Проект классификации текста

Классификация текста — фундаментальная задача обработки естественного языка (NLP), которая заключается в автоматической классификации текстовых документов по одной или нескольким заранее заданным категориям. В практических приложениях классификация текста широко используется для:

  • Обнаружение спама
  • Анализ тональности
  • Классификация новостей
  • Классификация диалогов службы поддержки
  • Классификация отзывов о товарах

Реализация классификации текста с помощью TensorFlow обычно включает следующие шаги:

  1. Подготовка и предварительная обработка данных
  2. Векторизация текста
  3. Построение модели
  4. Обучение модели
  5. Оценка модели
  6. Развёртывание модели

Подготовка окружения

Перед началом проекта убедитесь, что установлены следующие библиотеки Python:

!pip install tensorflow
!pip install numpy
!pip install pandas
!pip install matplotlib

Импортируйте необходимые библиотеки:

Пример

import tensorflow as tf
from tensorflow.keras import layers
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

Проверьте версию TensorFlow:

Пример

print(tf.__version__)
# Пример вывода: 2.8.0

Подготовка набора данных

Мы будем использовать набор данных с отзывами о фильмах IMDB, который представляет собой классический набор данных для бинарной классификации, содержащий 50,000 отзывов о фильмах с метками положительный (1) или отрицательный (0).

Загрузка набора данных

Пример

# Загрузить данные IMDB из наборов данных TensorFlow
imdb = tf.keras.datasets.imdb

# Оставить только 10,000 наиболее часто встречающихся слов
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

Исследование данных

Просмотр формата данных:

Пример

print("Обучающих примеров: {}, Тестовых примеров: {}".format(len(train_data), len(test_data)))
# Вывод: Обучающих примеров: 25000, Тестовых примеров: 25000

# Просмотр первого отзыва
print(train_data[0])
# Вывод: [1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, ...]

Предобработка данных

Преобразование целочисленных последовательностей в multi-hot кодирование:

Пример

def vectorize_sequences(sequences, dimension=10000):
    results = np.zeros((len(sequences), dimension))
    for i, sequence in enumerate(sequences):
        результаты[i, последовательность] = 1.
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)

# Преобразовать метки в числа с плавающей точкой
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')

Построение модели

Архитектура модели

Мы построим простую полносвязную нейронную сеть:

Пример

model = tf.keras.Sequential([
    layers.Dense(16, activation='relu', input_shape=(10000,)),
    layers.Dense(16, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

Компиляция модели

Пример

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

Описание параметра:

  • optimizer: Оптимизатор управляет процессом обучения
  • loss: Функция потерь измеряет разницу между предсказаниями модели и истинными метками
  • metrics: Метрика оценки, отслеживает этапы обучения и тестирования

Обучить модель

Создать валидационный набор

Пример

x_val = x_train[:10000]
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]

Процесс обучения

Пример

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=20,
                    batch_size=512,
                    validation_data=(x_val, y_val))

Визуализировать результаты обучения

Пример

history_dict = history.history

# Построить график потерь на обучении и валидации
plt.plot(history_dict['loss'], 'bo', label='Потери при обучении')
plt.plot(history_dict['val_loss'], 'b', label='Потери при валидации')
plt.title('Потери при обучении и валидации')
plt.xlabel('Эпохи')
plt.ylabel('Потери')
plt.legend()
plt.show()

# График точности обучения и валидации
plt.plot(history_dict['accuracy'], 'bo', label='Точность обучения')
plt.plot(history_dict['val_accuracy'], 'b', label='Точность валидации')
plt.title('Точность обучения и валидации')
plt.xlabel('Эпохи')
plt.ylabel('Точность')
plt.legend()
plt.show()

Оценка и прогнозирование модели

Оценка производительности на тестовом наборе

Пример

results = model.evaluate(x_test, y_test)
print(results)
# Пример вывода: [0.3245, 0.8732] представляет потери и точность

Сделать предсказания

Пример

predictions = model.predict(x_test)
print(predictions[0])  # Вероятность предсказания для первого тестового образца

Предложения по оптимизации модели

  1. Настройте архитектуру сети:

    • Увеличьте или уменьшите количество скрытых слоёв
    • Попробуйте разное количество нейронов
    • Используйте разные функции активации
  2. Методы регуляризации:

    • Добавьте слои Dropout, чтобы предотвратить переобучение
    • Используйте L1/L2-регуляризацию
  3. Выбор оптимизатора:

    • Попробуйте другие оптимизаторы, такие как Adam, SGD, и т. д.
    • Настройте скорость обучения
  4. Улучшения предварительной обработки текста:

    • Используйте эмбеддинги слов вместо multi-hot кодирования
    • Попробуйте предобученные словные векторы (такие как Word2Vec, GloVe)

Полный пример кода

Пример

import tensorflow as tf
from tensorflow.keras import layers
import numpy as np
import matplotlib.pyplot as plt

# Загрузить данные
imdb = tf.keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# Предварительная обработка данных
def vectorize_sequences(sequences, dimension=10000):
    results = np.zeros((len(sequences), dimension))
    for i, sequence in enumerate(sequences):
        результаты[i, последовательность] = 1.
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')

# Построение модели
model = tf.keras.Sequential([
    layers.Dense(16, activation='relu', input_shape=(10000,)),
    layers.Dense(16, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

# Компиляция модели
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# Обучите модель
history = model.fit(x_train, y_train,
                   epochs=4,
                   batch_size=512,
                   validation_data=(x_test, y_test))

# Оценка модели
results = model.evaluate(x_test, y_test)
print("Потери и точность на тесте:", results)

# Сделать предсказания
predictions = model.predict(x_test)
print("Вероятность предсказания для первого отзыва:", predictions[0])
Другие расширения