java爬取知乎答案的时候,如何去除其中的HTML标签

html-css014

java爬取知乎答案的时候,如何去除其中的HTML标签,第1张

可以通过正则表达式去除html标签

import java.util.regex.Matcher  

import java.util.regex.Pattern  

  

public class HtmlUtil {  

    private static final String regEx_script = "<script[^>]*?>[\\s\\S]*?<\\/script>" // 定义script的正则表达式  

    private static final String regEx_style = "<style[^>]*?>[\\s\\S]*?<\\/style>" // 定义style的正则表达式  

    private static final String regEx_html = "<[^>]+>" // 定义HTML标签的正则表达式  

    private static final String regEx_space = "\\s*|\t|\r|\n"//定义空格回车换行符  

      

    /** 

     * @param htmlStr 

     * @return 

     *  删除Html标签 

     */  

    public static String delHTMLTag(String htmlStr) {  

        Pattern p_script = Pattern.compile(regEx_script, Pattern.CASE_INSENSITIVE)  

        Matcher m_script = p_script.matcher(htmlStr)  

        htmlStr = m_script.replaceAll("") // 过滤script标签  

  

        Pattern p_style = Pattern.compile(regEx_style, Pattern.CASE_INSENSITIVE)  

        Matcher m_style = p_style.matcher(htmlStr)  

        htmlStr = m_style.replaceAll("") // 过滤style标签  

  

        Pattern p_html = Pattern.compile(regEx_html, Pattern.CASE_INSENSITIVE)  

        Matcher m_html = p_html.matcher(htmlStr)  

        htmlStr = m_html.replaceAll("") // 过滤html标签  

  

        Pattern p_space = Pattern.compile(regEx_space, Pattern.CASE_INSENSITIVE)  

        Matcher m_space = p_space.matcher(htmlStr)  

        htmlStr = m_space.replaceAll("") // 过滤空格回车标签  

        return htmlStr.trim() // 返回文本字符串  

    }  

      

    public static String getTextFromHtml(String htmlStr){  

        htmlStr = delHTMLTag(htmlStr)  

        htmlStr = htmlStr.replaceAll(" ", "")  

        htmlStr = htmlStr.substring(0, htmlStr.indexOf("。")+1)  

        return htmlStr  

    }  

      

    public static void main(String[] args) {  

        String str = "<div style='text-align:center'> 整治“四风”   清弊除垢<br/><span style='font-size:14px'> </span><span style='font-size:18px'>公司召开党的群众路线教育实践活动动员大会</span><br/></div>"  

        System.out.println(getTextFromHtml(str))  

    }  

}

很容易,首先建立一个字符串数组,也就是你需要过滤掉的html标签String[] filterArrays = new String[]{"<html>","</html>","<table>","</table>".....一系列有关html标签的东西}

当你得到一个html代码的字符串时你可以循环遍历上面的数组,然后调用String自带的方法replaceAll()

我给你简单的示范一下啊

String str = "dfgdgdfgdgd"//需要过滤的带有HTML标签的代码字符串

for(int i=0i<filterArrays.lengthi++){

if(str.indexOf(filterArrays[i])!=0){

str = str.replaceAll(filterArrays[i],"")//将html标签替换成了空格

}

}

这样就搞定了,主要是你需要在filterArrays中增加你需要过滤的字符串,当然还会有更好的办法,可以不用增加这样的数组,因为出现"<"必然会有">",或者"/>"这样的标签,但是这样做可能会将一些无关的也过滤掉了,总之两种方法都可以,第一种呢我都给你写了例子!祝你成功啊