Регулярные выражения -Введение

Регулярное выражение (regex или regexp для краткости) — это мощный инструмент обработки текста. Оно использует специальную строку для описания и сопоставления ряда строк, соответствующих определённому синтаксическому правилу.

Можно представить это каксупер-подстановочный знак. Обычные подстановочные знаки (такие как*представляющие любой символ) имеют ограниченную функциональность, тогда как регулярные выражения могут задавать чрезвычайно сложные и точные текстовые шаблоны — от простого сопоставления слов до извлечения сложных структурированных данных — почти что угодно.

Например, вы, вероятно, используете?и*подстановочные знаки для поиска файлов на жёстком диске.?Подстановочный знак соответствует 0 или 1 символу в имени файла, а*подстановочный знак соответствует нулю или более символам. Шаблон вродеdata(\w)?\.datнайдёт следующие файлы:

Пример

data.dat
data1.dat
data2.dat
datax.dat
dataN.dat

Попробуйте »

Использование символа*вместо символа?увеличивает количество найденных файлов.data.*\.datОн соответствует всем следующим файлам:

Пример

data.dat
data1.dat
data2.dat
data12.dat
datax.dat
dataXYZ.dat

Попробуйте »

Хотя этот метод поиска полезен, он всё ещё ограничен. Понимая, как работают*подстановочные знаки, вводятся понятия, на которые опираются регулярные выражения, но регулярные выражения более мощные и более гибкие.

Использование регулярных выражений позволяет простым способом достичь мощной функциональности. Вот простой пример:

  • ^Соответствует началу входной строки.

  • [0-9]+Соответствует нескольким цифрам,[0-9]соответствует одной цифре,+соответствует одной или более.

  • abc$Соответствует буквеabcи заканчивается наabcв конце,$соответствует концу входной строки.

При написании формы регистрации пользователя, если мы разрешаем именам пользователей содержать толькобуквы, цифры, подчёркивания и дефисы -, и задаём длину имени пользователя, мы можем использовать следующее регулярное выражение для его определения.

^[a-zA-Z0-9_-]{3,15}$

  • ^Совпадает с началом строки.
  • [a-zA-Z0-9_-]Обозначает набор символов, содержащий строчные буквы, прописные буквы, цифры, подчёркивания и дефисы-。
  • {3,15}Указывает, что предшествующий набор символов должен встречаться не менее 3 раз и не более 15 раз, таким образом ограничивая длину имени пользователя от 3 до 15 символов.
  • $Совпадает с концом строки.

Приведённое выше регулярное выражение может соответствоватьexample、example1、run-oob、run_oob, но не соответствуетru, потому что содержит слишком короткие буквы — меньше 3 символов, поэтому оно не может совпасть. Оно также не соответствуетexample$, потому что содержит специальные символы.

Пример

Сопоставляет строки, которые начинаются с цифры и заканчиваются на "abc".:

var str = "123abc"; var patt1 = /^[0-9]+abc$/; document.write(str.match(patt1));

Текст, отмеченный ниже, — это выражение, которое дало совпадение:

123abc

Попробуйте »

Метасимволы и возможности регулярных выражений

Сопоставление символов

  • Обычные символы: обычные символы сопоставляются буквально. Например, сопоставление буквы "a" сопоставит символ "a" в тексте.
  • Метасимволы: метасимволы имеют особые значения. Например,\dсоответствует любому цифровому символу,\wсоответствует любому буквенно-цифровому символу,.соответствует любому символу (кроме новой строки), и т. д.

Квантификаторы

  • *: Соответствует предыдущему шаблону ноль или более раз.
  • +: Соответствует предыдущему шаблону один или более раз.
  • ?: Соответствует предыдущему шаблону ноль или один раз.
  • {n}: Соответствует предыдущему шаблону ровно n раз.
  • {n,}: Соответствует предыдущему шаблону как минимум n раз.
  • {n,m}: Соответствует предыдущему шаблону как минимум n раз и не более m раз.

Классы символов

  • [ ]: Соответствует любому одному символу внутри скобок. Например,[abc]соответствует символам "a", "b" или "c".
  • [^ ]: Соответствует любому символу, кроме тех, что внутри скобок. Например,[^abc]соответствует любому символу, кроме "a", "b" или "c".

Сопоставление границ

  • ^: Совпадает с началом строки.
  • $: Совпадает с концом строки.
  • \b: Совпадает с границей слова.
  • \B: Совпадает с не-границей слова.

Группировка и захват

  • ( ): Используется для группировки и захвата подвыражений.
  • (?: ): Используется для группировки, но не для захвата подвыражений.

Специальные символы

  • \: Экранирующий символ, используется для сопоставления с самим специальным символом.
  • .: Совпадает с любым символом (кроме символа новой строки).
  • |: Используется для указания выбора среди нескольких шаблонов.

Определение и применение регулярных выражений

Технически, регулярное выражение — это строка, состоящая из обычных символов (таких как буквы от a до z) и специальных символов (называемых метасимволами). Эта строка образуетпоисковый шаблон, который используется для поиска, сопоставления, замены или разделения текста.

Основные применения

У регулярных выражений есть три основных применения:

  1. Поиск и сопоставление текста: Быстро определить, содержит ли фрагмент текста подстроку, соответствующую определённому шаблону. Например, проверить, является ли строка допустимым форматом адреса электронной почты.
  2. Замена текста: Заменить все части текста, соответствующие определённому шаблону, новым содержимым. Например, изменить все форматы даты в документе сYYYY-MM-DDединообразно наMM/DD/YYYY。
  3. Извлечение и разделение текста: Точно извлекать нужные нам части из большого фрагмента текста или разделять текст на массив по определённым разделителям. Например, извлечь все IP-адреса из файла журнала или разделить строку CSV запятыми.

Сценарии применения регулярных выражений

Регулярные выражения пронизывают почти все аспекты программирования и повседневной обработки текста. Ниже приведены некоторые из наиболее распространённых сценариев применения:

1. Проверка данных

Это одно из самых классических применений регулярных выражений, гарантирующее, что пользовательский ввод соответствует ожидаемому формату.

  • Проверка адресов электронной почты: Проверить, похож ли ввод наusername@domain.com。
  • Проверка номеров телефонов: Проверить, соответствует ли он формату мобильного номера страны/региона (например, 11-значному номеру Китая).
  • Проверка надежности пароля: Требовать, чтобы пароли содержали заглавные и строчные буквы, цифры и специальные символы.
  • Проверка форматов даты: Убедитесь, что дата указана в допустимых форматах, таких как2023-12-25или12/25/2023.
  • Проверка номеров удостоверений личности: Сопоставлять номера удостоверений личности, соответствующие определенным правилам кодирования.

2. Поиск и фильтрация текста

Быстро находить информацию в больших объёмах текста.

  • Анализ журналов: Поиск в серверных журналах всех записей наERRORилиWARNуровень.
  • Поиск кода: В IDE или редакторе используйте регулярные выражения для поиска всех определений функций (например,function xxx(...)) или конкретных имён переменных.
  • Поиск по содержимому документа: Найти все вхождения номеров телефонов или URL в длинном документе.

3. Замена и очистка текста

Пакетно изменять текстовое содержимое для его нормализации.

  • Форматирование данных: Форматировать номера телефонов из12345678901в123-4567-8901。
  • Очистка данных: удаление лишних пробельных символов из текста (например, нескольких подряд идущих пробелов или символов табуляции).
  • Маскирование конфиденциальной информации: замена номеров удостоверений личности в тексте на***, например110101199001011234 -> 110101********1234。
  • Рефакторинг кода: пакетное переименование переменных или имён функций.

4. Извлечение и разбор текста

Извлечение структурированных данных из неструктурированного текста.

  • Веб-краулеры: извлечение всех ссылок из HTML-кода (href="...") или адрес изображения (src="...")。
  • Разобрать файл конфигурации: прочитатьkey = valueфайл конфигурации в формате.
  • Извлечение конкретных данных: извлечь все вхождения сумм из фрагмента текста (например,¥100.50или$99.99)。

5. Разделение строк

Используйте сложные правила, а не просто один символ, для разделения строк.

  • Разделите предложение, используя один или несколько пробелов, запятых или точек с запятой.
  • На основе различных разделителей (таких как,、;、\t) для разбора данных CSV или TSV.

Следующая блок-схема обобщает основной рабочий процесс регулярных выражений при обработке данных:


История разработки

Предшественников регулярных выражений можно проследить до ранних исследований того, как работает нервная система человека. Уоррен МакКаллок и Уолтер Питтс, два нейрофизиолога, разработали математический способ описания таких нейронных сетей.

В 1951 году математик по имени Стивен Клини, опираясь на раннюю работу МакКаллока и Питтса, опубликовал статью под названием «Представление событий в нервных сетях», введя понятие регулярных выражений. Регулярные выражения — это выражения, используемые для описания того, что он называлалгеброй регулярных множеств, поэтому был принят терминрегулярное выражение.

Впоследствии было обнаружено, что эту работу можно применить в некоторых ранних исследованиях с использованием алгоритмов вычислительного поиска Кена Томпсона. Кен Томпсон был одним из главных создателей Unix. Первым практическим применением регулярных выражений стал редактор grep в Unix.

Примерная история развития выглядит так:

  • 1951: Стивен Клини, один из основателей теории вычислений и американский учёный в области информатики, впервые предложил понятие регулярных языков и использовал формальные методы для описания этого языка. Это заложило теоретическую основу для разработки регулярных выражений.

  • 1960-е: Кен Томпсон, один из соучредителей операционной системы Unix, разработал первую программу, которая действительно применяла регулярные выражения; это была часть команды grep в Unix. Это ознаменовало практическое применение регулярных выражений.

  • 1970-е: Кен Томпсон и Роб Пайк разработали первый движок регулярных выражений, широко использовавшийся в Unix-системах, что сыграло ключевую роль в популяризации регулярных выражений.

  • 1986: Филип Хейзел разработал библиотеку PCRE (Perl Compatible Regular Expressions) — библиотеку регулярных выражений, которая позволяет использовать регулярные выражения в стиле Perl в разных языках программирования.

  • 1997: IEEE выпустил стандарт POSIX.2, который включает стандартную спецификацию регулярных выражений, что сделало поведение регулярных выражений более согласованным в разных системах Unix.

  • После 2000-х годов: регулярные выражения стали всё более популярными в программировании и обработке текста. Языки программирования и инструменты, поддерживающие регулярные выражения, стали богаче и мощнее, например Perl, Python, Java, JavaScript и т. д.

  • В настоящее время: регулярные выражения остаются важным инструментом обработки текста и извлечения данных, широко применяются в таких областях, как наука о данных, анализ текста, веб-сканеры, поиск и замена строк и многих других.


Области применения

В настоящее время регулярные выражения широко используются во многих программных системах, включая *nix (Linux, Unix и т. д.), HP и другие операционные системы, среды разработки, такие как PHP, C#, Java, и множество прикладных программ; следы регулярных выражений можно встретить повсюду.

Регулярные выражения C#

В нашем руководстве по C#,Регулярные выражения C#эта глава посвящена знакомству с регулярными выражениями C#.

Регулярные выражения в Java

В нашем руководстве по Java,Регулярные выражения Javaэта глава посвящена знакомству с регулярными выражениями Java.

Регулярные выражения JavaScript

В нашем руководстве по JavaScript,Объект RegExp JavaScriptэта глава посвящена знакомству с регулярными выражениями JavaScript, а также мы предоставляем полныйСправочник по объекту RegExp JavaScript。

Регулярные выражения Python

В нашем базовом руководстве по Python,Регулярные выражения Pythonэта глава посвящена знакомству с регулярными выражениями Python.

Регулярные выражения Ruby

В нашем учебнике по Ruby,Регулярные выражения Rubyэта глава посвящена знакомству с регулярными выражениями Ruby.

Команда или среда . [ ] ^ $ \( \) \{ \} ? + | ( )
vi √ √ √ √ √      
Visual C++ √ √ √ √ √      
awk √ √ √ √  awk поддерживает этот синтаксис; просто добавьте параметр --posix или --re-interval в командной строке. См. интервальное выражение в man awk.√ √ √ √
sed √ √ √ √ √ √     
delphi √ √ √ √ √  √ √ √ √
python √ √ √ √ √ √ √√√√
java √ √ √ √ √ √ √√√ √ 
javascript √ √ √ √ √  √ √ √ √
php √ √ √ √ √      
perl √ √ √ √ √  √ √ √ √
C# √ √ √ √   √ √ √ √

Ниже приведено сравнение поддержки регулярных выражений в основных языках программирования:

Язык программирования Способ поддержки Общие классы/модули Простой пример (сопоставление цифр)
JavaScript Поддержка родного языка RegExpобъект, или использование литерала/.../ /\d+/илиnew RegExp("\\d+")
Python Стандартная библиотекаreМодуль reМодуль re.compile(r"\d+")
Java Стандартная библиотекаjava.util.regexПакет PatternиMatcherКласс Pattern.compile("\\d+")
PHP Встроенные функции PCRE preg_ряд функций (таких какpreg_match) preg_match("/\d+/", $text)
C# System.Text.RegularExpressionsnamespace RegexКласс new Regex(@"\d+")
Go Стандартная библиотекаregexpПакет regexpПакет regexp.MustCompile(\d+)
Ruby Поддержка родного языка, основной класс RegexpКласс /\d+/
Другие расширения