java爬取知乎答案的时候，如何去除其中的HTML标签

html-css030

java爬取知乎答案的时候，如何去除其中的HTML标签,第1张

可以通过正则表达式去除html标签

import java.util.regex.Matcher  

import java.util.regex.Pattern  

  

public class HtmlUtil {  

    private static final String regEx_script = "<script[^>]*?>[\\s\\S]*?<\\/script>" // 定义script的正则表达式  

    private static final String regEx_style = "<style[^>]*?>[\\s\\S]*?<\\/style>" // 定义style的正则表达式  

    private static final String regEx_html = "<[^>]+>" // 定义HTML标签的正则表达式  

    private static final String regEx_space = "\\s*|\t|\r|\n"//定义空格回车换行符  

      

    /** 

     * @param htmlStr 

     * @return 

     *  删除Html标签 

     */  

    public static String delHTMLTag(String htmlStr) {  

        Pattern p_script = Pattern.compile(regEx_script, Pattern.CASE_INSENSITIVE)  

        Matcher m_script = p_script.matcher(htmlStr)  

        htmlStr = m_script.replaceAll("") // 过滤script标签  

  

        Pattern p_style = Pattern.compile(regEx_style, Pattern.CASE_INSENSITIVE)  

        Matcher m_style = p_style.matcher(htmlStr)  

        htmlStr = m_style.replaceAll("") // 过滤style标签  

  

        Pattern p_html = Pattern.compile(regEx_html, Pattern.CASE_INSENSITIVE)  

        Matcher m_html = p_html.matcher(htmlStr)  

        htmlStr = m_html.replaceAll("") // 过滤html标签  

  

        Pattern p_space = Pattern.compile(regEx_space, Pattern.CASE_INSENSITIVE)  

        Matcher m_space = p_space.matcher(htmlStr)  

        htmlStr = m_space.replaceAll("") // 过滤空格回车标签  

        return htmlStr.trim() // 返回文本字符串  

    }  

      

    public static String getTextFromHtml(String htmlStr){  

        htmlStr = delHTMLTag(htmlStr)  

        htmlStr = htmlStr.replaceAll(" ", "")  

        htmlStr = htmlStr.substring(0, htmlStr.indexOf("。")+1)  

        return htmlStr  

    }  

      

    public static void main(String[] args) {  

        String str = "<div style='text-align:center'> 整治“四风”   清弊除垢<br/><span style='font-size:14px'> </span><span style='font-size:18px'>公司召开党的群众路线教育实践活动动员大会</span><br/></div>"  

        System.out.println(getTextFromHtml(str))  

    }  

}

java处理html指定标签最好用正则表达式。例如要去除html中所有的h1标签和类容就可以用下面的演示代码：

package konw.reg

import java.io.BufferedReader

import java.io.BufferedWriter

import java.io.FileNotFoundException

import java.io.FileReader

import java.io.FileWriter

import java.io.IOException

import java.util.regex.Matcher

import java.util.regex.Pattern

public class RemoveTag

{

    public static void main(String[] args)

    {

        FileReader fr

        String content =null

        String regex = "<[Hh]1>.*</[Hh]1>"

        try

        {

            fr = new FileReader("tag.html")

            BufferedReader br = new BufferedReader(fr)

            String str = null

            StringBuffer sb = new StringBuffer()

            while((str = br.readLine()) != null)

            {

                sb.append(str+"\n")

            }

            content = sb.toString()

            br.close()

            

        } catch (FileNotFoundException e)

        {

            e.printStackTrace()

        } catch (IOException e)

        {

            e.printStackTrace()

        }

        Pattern pattern = Pattern.compile(regex)

        Matcher matcher = pattern.matcher(content)

        StringBuffer sb1 = new StringBuffer()

        while(matcher.find())

        {

            sb1.append(matcher.replaceAll("")+"\n")

        }

        try

        {

            FileWriter fw = new FileWriter("tag.html")

            BufferedWriter bw = new BufferedWriter(fw)

            fw.write(sb1.toString())

            bw.close()

        } catch (IOException e)

        {

            e.printStackTrace()

        }

    }

}