正则表达式底层实现
- 实例分析
为让大家对正则表达式底层实现有一个直观的映象,给大家举个实例给你一段字符串(文本)，请找出所有四个数字连在一起的子串,比如：应该找到 1998 1999 3443 9889 ===> 分析底层实现 RegTheory.java
正则表达式语法
-
基本介绍
如果要想灵活的运用正则表达式,必须了解其中各种元字符的功能,元字符从功能上大致分为:
- 限定符
- 选择匹配符
- 分组组合和反向引用符
- 特殊字符
- 字符匹配符
- 定位符
package com.hspedu.regexp; import java.util.regex.Matcher; import java.util.regex.Pattern; public class Regexp_ { public static void main(String[] args) { // 假定，编写了爬虫，从百度页面得到如下文本 // String content = "ARPA网和NSF网最初都是为科研服务的，其主要目的为用户提供共享大型主机的宝贵资源。随着接入主机数量的增加，越来越多的人把internet作为通信和交流的工具。一些公司还陆续在internet上开展了商业活动。随着internet的商业化，其在通信、信息检索、客户服务等方面的巨大潜力被挖掘出来，使internet有了质的飞跃，并最终走向全球。"; // String content = "<a target=\"_blank\" title=\"国家卫健委:疫苗接种遵循自愿原则\" href=\"/s?wd=%E5%9B%BD%E5%AE%B6%E5%8D%AB%E5%81%A5%E5%A7%94%3A%E7%96%AB%E8%8B%97%E6%8E%A5%E7%A7%8D%E9%81%B5%E5%BE%AA%E8%87%AA%E6%84%BF%E5%8E%9F%E5%88%99&rsv_idx=2&tn=baiduhome_pg&usm=1&ie=utf-8&rsv_cq=%E7%A7%91%E7%8F%AD%E5%87%BA%E8%BA%AB&rsv_dl=0_right_fyb_pchot_20811_01&rsv_pq=dbab8cc20003ffb0&oq=%E7%A7%91%E7%8F%AD%E5%87%BA%E8%BA%AB&rsv_t=b28e0Dh2RwijSbY%2FN0sKfuoVtpXIHJ0kuYUb%2Fv6j2nsD2WjcXm99mlcfIKnEFzgFNbjc&rsf=139c9f7a210ba310fe965fe0afd98c58_1_10_1\" class=\"c-font-medium c-color-t opr-toplist1-subtitle\">\n" + // " 国家卫健委:疫苗接种遵循自愿原则\n" + // " </a>"; String content = "私有地址（Private address）属于非注册地址，专门为组织机构内部使用。\n" + "以下列出留用的内部私有地址\n" + "A类 10.0.0.0--10.255.255.255\n" + "B类 172.16.0.0--172.31.255.255\n" + "C类 192.168.0.0--192.168.255.255"; // 提取文章中所有的英文单词 // 提取文章中所有的数字 // 提取文章中所有的英文单词和数字 // (1).传统方法，使用遍历方式，代码量大，效率不高 // (2).正则表达式技术 // 1.先创建一个Pattern对象，模式对象，可以理解成就是一个正则表达式对象 // Pattern pattern = Pattern.compile("[a-zA-Z]+"); // Pattern pattern = Pattern.compile("[0-9]+"); // Pattern pattern = Pattern.compile("([a-zA-Z]+)|([0-9]+)"); // Pattern pattern = Pattern.compile("<a target=\"_blank\" title=\"(\\S*)\""); Pattern pattern = Pattern.compile("\\d+\\.\\d+\\.\\d+\\.\\d+"); // 2.创建一个匹配器对象 // 理解: 就是matcher匹配器按照 pattern(模式/样式),到 content 文本中去匹配 // 找到就返回true，否则就返回false Matcher matcher = pattern.matcher(content); // 3.可以开始循环匹配 while(matcher.find()){ // 匹配内容，文本，放到 m.group(0) System.out.println("找到: "+matcher.group(0)); } } }
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
// 分析Java正则表达式的底层实现方法(重要)
public class RegTheory {
public static void main(String[] args) {
String content = "1998年12月8日，第二代Java平台的企业版J2EE发布。1999年6月，Sun公司发布了第二代Java平台（简称为Java2）的3个版本：J2ME（Java2 Micro Edition，Java2平台的微型版），应用于移动、无线及有限资源的环境；J2SE（Java 2 Standard Edition，Java 2平台的标准版），应用3443于桌面环境；J2EE（Java 2Enterprise Edition，Java 2平台的企5775业版），应用于1568基于Java的应用服务器。Java 2平台的发布，是Java发展过程中最重要的一个里程碑，标志着Java的应用开始普及6886。";
// 目标：匹配所有四个数字
// 说明
// 1.\\d代表任意一个数字
String regStr = "(\\d\\d)(\\d\\d)";
// 2.创建模式对象(及正则表达式)
Pattern pattern = Pattern.compile(regStr);
// 3.创建匹配器
// 说明：创建匹配器matcher，按照 正则表达式的规律 去匹配 content字符串
Matcher matcher = pattern.matcher(content);
// 4.开始匹配
/*
*matcher.find() 完成的任务 (考虑分组)
* 什么是分组，比如 (\d\d)(\d\d), 正则表达式中有() 表示分组,第1个()表示第1组，第2个()表示第2组...
* 1.根据指定的规则，定位满足规则的子字符串(比如1998)
* 2.找到后，将 子字符串的索引记录到matcher对象的属性 int[] groups;
* 2.1 groups[0] = 0,把该子字符串的结束的索引+1 的值记录到 groups[1] = 4
* 2.2 记录1组()匹配到的字符串 groups[2] = 0 groups[3] = 2
* 2.3 记录2组()匹配到的字符串 groups[4] = 2 groups[5] = 4
* 2.4 如果有更多的分组.....
* 3.同时记录oldLast 的值为 子字符串的结束的 索引+1的值即为4，即下次执行find时， 就从4开始匹配
*
* matcher.group(0)分析
* public String group(int group) {
if (first < 0)
throw new IllegalStateException("No match found");
if (group < 0 || group > groupCount())
throw new IndexOutOfBoundsException("No group " + group);
if ((groups[group*2] == -1) || (groups[group*2+1] == -1))
return null;
return getSubSequence(groups[group * 2], groups[group * 2 + 1]).toString();
}
* 1.根据groups[0]=0 和 groups[1] = 4 的记录的位置，从content开始截取子字符串返回
* 就是[0,4) 包含0 但是不包含索引为4的位置
*
* 1.根据groups[0]=31 和 groups[1] = 35 的记录的位置，从content开始截取子字符串返回
* 就是[31,35) 包含0 但是不包含索引为35的位置
*
* 如果再次指向find方法，仍然按上面分析来执行
* */
while(matcher.find()){
// 小结
// 1.如果正则表达式有() 即分组
// 2.取出匹配的字符串规则如下
// 3.group(0) 表示匹配到的子字符串
// 4.group(1) 表示匹配到的子字符串的第1组子串
// 5.group(2) 表示匹配到的子字符串的第2组子串
// 6. ... 但是分组的树不能越界
System.out.println("找到："+matcher.group(0));
System.out.println("第1组()匹配到的值="+matcher.group(1));
System.out.println("第2组()匹配到的值="+matcher.group(2));
}
}
}
-
元字符( Metacharacter)-转义号 \\
\\符号说明:在我们使用正则表达式去检索某些特殊字符的时候,需要用到转义符号,否则检索不到结果,甚至会报错的。案例:用去匹配“abc$("会怎样?
再次提示
在Java的正则表达式中,两个\\代表其他语言中的一个\需要用到转义符号的字符有以下: . * + () $ / \ ? [ ] ^ { }
package com.hspedu.regexp; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 转义字符的使用 * */ public class Regexp02 { public static void main(String[] args) { String content = "abc$(a.bc(123("; // 匹配( => \\( // 匹配. ==> \\. // String regStr = "\\."; String regStr = "\\d{3}";// 匹配三个连续任意数字相当于"\\d\\d\\d" Pattern pattern = Pattern.compile(regStr); Matcher matcher = pattern.matcher(content); while(matcher.find()){ System.out.println("找到"+matcher.group(0)); } } } -
元字符-字符匹配符
应用实例:
- [a-z]说明:
[a-z]表示可以匹配a-z中任意一个字符,比如[a-z]、[A-Z]去匹配a11c8会得到什么结果? - java正则表达式默认是区分字母大小写的,如何实现不区分大小写
(?i)abc 表示abc都不区分大小写
a(?i)bc表示bc不区分大小写
a(?i)b)c表示只有b不区分大小写
Pattern pat = Pattern.compile (regEx, Pattern.CASE_INSENSITIVE);
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 字符匹配符的使用
* */
public class RegExp03 {
public static void main(String[] args) {
String content = "a11c8abcABC";
// String regStr = "[a-z]";// 匹配 a-z之间的任意一个字符
// String regStr = "[A-Z]";// 匹配 A-Z之间的任意一个字符
// String regStr = "abc";// 匹配 abc 字符串 [默认区分大小写]
// String regStr = "(?i)abc";// 匹配 abc 字符串 [不区分大小写]
// String regStr = "[0-9]";// 匹配 0-9 之间的任意一个字符
// String regStr = "[^a-z]";// 匹配 不在 a-z之间的任意一个字符
String regStr = "[^0-9]";// 匹配 不在 0-9之间的任意一个字符
// 说明
// 1.当创建Pattern对象时，指定 Pattern.CASE_INSENSITIVE，表示匹配是不区分字母大小写
Pattern pattern = Pattern.compile(regStr,Pattern.CASE_INSENSITIVE);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("找到"+matcher.group(0));
}
}
}
- \\d表示可以匹配0-9的任意一个数字相当于[0-9]。
- \\D表示可以匹配不是0-9中的任意一个数字相当于[^0-9】
- \\w匹配任意英文字符、数字和下划线相当于[a-zA-z0-9]
- \\W相当于[^a-zA-z0-9]是\w刚好相反
- \\s匹配任何空白字符(空格,制表符等)
- \\S匹配任何非空白字符,和\s刚好相反
- . 匹配出\n之外的所有字符如果要匹配.本身则需要使用\\.
在匹配某个字符串的时候是选择性的,即:既可以匹配这个,又可以匹配那个,这时你需要用到选择匹配符号|
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 选择匹配符
* */
public class RegExp04 {
public static void main(String[] args) {
String content = "ty slime 童";
String regStr = "ty|童";
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while (matcher.find()){
System.out.println("找到 "+matcher.group(0));
}
}
}
用于指定其前面的字符和组合项连续出现多少次
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 限定符
* */
public class RegExp05 {
public static void main(String[] args) {
String content = "a11111111aaaahello";
// a{3},1{4},(\\d){2}
// String regStr = "a{3}";// 表示 匹配aaa
// String regStr = "1{4}";// 表示 匹配1111
// String regStr = "(\\d){2}";// 表示 匹配两位任意数字字符
// a{3,4},1{4,5},(\\d){2,5}
// 细节：Java匹配默认贪婪匹配，即尽可能匹配多的
// String regStr = "a{3,4}";// 表示 匹配aaa 或 aaaa
// String regStr = "1{4,5}";// 表示 匹配1111 或 11111
// String regStr = "(\\d){2,5}";// 表示 匹配 2或3，4，5位数
// 1+
// String regStr = "1+";// 表示 匹配 一个或多个1
// String regStr = "\\d+";// 表示 匹配 一个或多个数字
// 1*
// String regStr = "\\d*";// 表示 匹配 0个或多个数字
// 演示? 的使用 遵守贪婪匹配
String regStr = "a1?";// 表示 匹配 a或a1
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("找到 "+matcher.group(0));
}
}
}
定位符，规定要匹配的字符串出现的位置，比如在字符串的开始还是在结束的位置，这个也是相当有用的
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 演示定位符
* */
public class RegExp06 {
public static void main(String[] args) {
String content = "tyslime slimety tsy";
// String content = "123-abc";
// 以至少一个数字开头，后接任意个小写字母的字符串
// String regStr = "^[0-9]+[a-z]*";
// 以至少一个数字开头，必须以任意一个小写字母结束
// String regStr = "^[0-9]+\\-[a-z]+$";
// 表示匹配边界的ty[这里的边界是指：被匹配的字符串最后，
// 也可以是空格的子字符串的后面]
// String regStr = "ty\\b";
String regStr = "ty\\B";// 表示匹配非边界的ty 和\\b 刚好相反
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while (matcher.find()){
System.out.println("找到" +matcher.group(0));
}
}
}
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 演示分组
* */
public class RegExp07 {
public static void main(String[] args) {
String content = "tyslime 7788 ttmm s1189";
// 下面就是非命名分组
// 说明
// 1.matcher.group(0)得到匹配到的字符串
// 2.matcher.group(1)得到匹配到的字符串的第一个分组
// 3.matcher.group(2)得到匹配到的字符串的第二个分组
// String regStr = "(\\d\\d)(\\d\\d)";// 匹配四个数字的字符串
// 命名分组:即 可以给分组取名
String regStr = "(?<g1>\\d\\d)(?<g2>\\d\\d)";// 匹配四个数字的字符串
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("找到 " + matcher.group(0));
System.out.println("第一个分组 " + matcher.group(1));
System.out.println("第一个分组[通过组名] " + matcher.group("g1"));
System.out.println("第二个分组 " + matcher.group(2));
System.out.println("第二个分组[通过组名] " + matcher.group("g2"));
}
}
}
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 演示非捕获分组 语法比较奇怪
* */
public class RegExp08 {
public static void main(String[] args) {
String content = "tyslime tymobu slime slimemobu tyhaha";
// 找到 tyslime tymobu子字符串
// String regStr = "tyslime|tymobu";
// 上面的写法可以等价非捕获分组 , 注意：不能matcher.group(1)
// String regStr = "ty(?:slime|mobu)";
// 找到 ty 这个关键字 但只是查找tyslime 和 tymobu 中包含的ty
// String regStr = "ty(?=slime|mobu)";// 非捕获分组，不能使用matcher.group(1)
// 找到 ty 这个关键字 但只是查找不是tyslime 和 tymobu 中包含的ty
String regStr = "ty(?!slime|mobu)";// 非捕获分组，不能使用matcher.group(1)
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("找到 "+ matcher.group(0));
}
}
}
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 非贪婪匹配
* */
public class RegExp09 {
public static void main(String[] args) {
String content = "hello1111 ok";
// String regStr = "\\d+";// 默认是贪婪匹配
String regStr = "\\d+?";// 非贪婪匹配
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("找到 "+ matcher.group(0));
}
}
}
应用实例
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 正则表达式的应用实例
* */
public class RegExp10 {
public static void main(String[] args) {
// String content = "史莱姆";
// String content = "123890";
// String content = "12389";
String content = "12588889999";
// 汉字
// String regStr = "^[\u0391-\uffe5]+$";
// 邮政编码
// 要求:是1-9开头的一个六位数.比如:123890
// String regStr = "^[1-9](\\d){5}$";
// QQ号码
// 要求:是1-9开头的一个(5位数-10位数)比如:12389,1345687,187698765
// String regStr = "^[1-9](\\d){4,9}$";
// 手机号码
// 要求:必须以13,14,15,18开头的11位数,比如13588889999
String regStr = "^1[3|4|5|8](\\d){9}$";
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
if (matcher.find()){
System.out.println("满足格式");
}else {
System.out.println("不满足格式");
}
}
}
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 正则表达式的使用
* */
public class RegExp11 {
public static void main(String[] args) {
String content = "https://www.bilibili.com/blackboard/activity-TVWStSTDRs.html?spm_id_from=333.851.b_62696c695f7265706f72745f6c697665.21";
/*
* 思路
* 1. 先确定 url 的开始部分 https:// | http://
* 2. 然后通过([\w-]+\.)+[\w-]+ 匹配 www.bilibili.com
* 3. /blackboard/activity-TVWStSTDRs.html?spm_id_from=333.851.b_62696c695f7265706f72745f6c697665.21 匹配
* */
String regStr = "^((http|https)://)?([\\w-]+\\.)+[\\w-]+(\\/[\\w-?&=/%.#]*)?$";// 注意 ： [.] 表示匹配就是.本身
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
if (matcher.find()){
System.out.println("满足格式");
}else {
System.out.println("不满足格式");
}
}
}
正则表达式三个常用类
package com.hspedu.regexp;
import java.util.regex.Pattern;
/*
* 演示matches方法，用于整体匹配，验证输入的字符串是否满足条件使用
* */
public class PatternMethod {
public static void main(String[] args) {
String content = "hello abc hello,tyslime";
// String regStr = "hello";
String regStr = "hello.*";
boolean matches = Pattern.matches(regStr, content);
System.out.println("整体匹配 "+ matches);
}
}
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* Matcher 类的常用方法
* */
public class MatcherMethod {
public static void main(String[] args) {
String content = "hello ty slime jack tyslime dim hello ethan hello tyslime";
String regStr = "hello";
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("==============");
System.out.println(matcher.start());
System.out.println(matcher.end());
System.out.println("找到 "+content.substring(matcher.start(),matcher.end()));
}
// 整体匹配方法,常用于,校验某个字符串是否满足某个规则
System.out.println("整体匹配"+matcher.matches());
// 完成如果 content 有 tyslime 替换成 tymobu
regStr = "tyslime";
pattern = Pattern.compile(regStr);
matcher = pattern.matcher(content);
// 注意: 返回的字符串才是替换后的字符串 原来的 content 不会变
String newContent = matcher.replaceAll("tymobu");
System.out.println("newContent="+newContent);
System.out.println("content="+content);
}
}
反向引用
- 分组
我们可以用圆括号组成一个比较复杂的匹配模式,那么一个圆括号的部分我们可以看作是一个子表达式/一个分组。 - 捕获
把正则表达式中子表达式/分组匹配的内容,保存到内存中以数字编号或显式命名的组里,方便后面引用,从左向右,以分组的左括号为标志,第一个出现的分组的组号为1,第二个为2,以此类推。组0代表的是整个正则式 - 反向引用
圆括号的内容被捕获后,可以在这个括号后被使用,从而写出一个比较实用的匹配模式,这个我们称为反向引用,这种引用既可以是在正则表达式内部,也可以是在正则表达式外部,内部反向引用\\分组号,外部反向引用$分组号
package com.hspedu.regexp;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 反向引用
* */
public class RegExp12 {
public static void main(String[] args) {
String content = "1234hello33333 11 t1551y j12321-333999111ack 22 li2332me12345";
// 匹配两个连续相同的数组 (\\d)\\1
// String regStr = "(\\d)\\1";
// 匹配五个连续相同的数组 (\\d)\\1{4}
// String regStr = "(\\d)\\1{4}";
// 匹配千位与个位相同，十位与百位相同的数组 (\\d)\\1{4}
// String regStr = "(\\d)(\\d)\\2\\1";
/*
*
请在字符串中检索商品编号形式如:12321-333999111这
样的号码要求满足前面是一个五位数然后一个号然后是一
个九位数连续的每三位要相同
* */
String regStr = "\\d{5}-(\\d)\\1{2}(\\d)\\2{2}(\\d)\\3{2}";
Pattern pattern = Pattern.compile(regStr);
Matcher matcher = pattern.matcher(content);
while(matcher.find()){
System.out.println("找到 "+matcher.group(0));
}
}
}
String类中使用正则表达式
package com.hspedu.regexp;
public class StringReg {
public static void main(String[] args) {
String content = "2000年5月，JDK1.3、JDK1.4和J2SE1.3相继发布，几周后其获得了Apple公司Mac OS " +
"X的工业标准的支持。2001年9月24日，J2EE1.3发布。2002年2月26日，J2SE1.4发布。";
// 使用正则表达式方式，将 JDK1.3 和 JDK1.4替换成 JDK
content = content.replaceAll("JDK1\\.3|JDK1\\.4","JDK");
System.out.println(content);
// 要求 验证一个 手机号 要求必须是以138 或 139 开头的
content = "13688889999";
if(content.matches("1(38|39)\\d{8}")){
System.out.println("验证成功");
}else {
System.out.println("验证失败");
}
// 要求按照 # 或者 - 或者 ~ 或者 数字 来分割
content = "hello#abc-jack12smith~北京";
String[] split = content.split("#|-|~|\\d+");
for (String s : split) {
System.out.println(s);
}
}
}