数据清理字数统计所需report datacleancount.pdfVIP

DATACLEANWORDCOUNT

Filerequired:

javacsv.jar(importtousecsvreaderandcsvwritertoprocessthedata)

stemworec(usetofindthestemwordsofwords,reducerepitition

andimproveefficiency)

stop_words_eng.txt(usetoremovethestopwords)

data_clean.java(usejavatocleananddothewordcount)

1.DATACLEAN

A.PickuptheusefultweetsinEnglishfromrawdata(language==

“en”)

B.Turnallthelettertolowercase

C.Useregularexpressiontoremove:

1.1.1topic(#xxx),

1.1.2link()

1.1.3at(@xxx)

1.1.4punctuation(,!.?*…..)

1.1.5forwardsignal(RT)

1.1.6irrelevantinformation(a…a/)

in“theText”part.(Cleantogetmeaningfuldata)

D.Usestop_words_eng.txttoremoveallthestopwords,makethe

datamoremeaningful.

E.Splitthesentencesintoseparatewordspreparingforwordcount.

2.WORDCOUNT

A.Use“stemwordec”tocutdowntherepetitionofwordswith

samestemwords.i.e.“apples”and“apple”willbeprocessed

to“appl”afterusing“stemwordec”

B.Readthewordonebyoneandcountthefrequency

C.Sortthewordsbywordsfrequencyindescendingorder

D.Pickthetop200andstoreinacsvfile(finalresult)

Moredetailscouldbefoundindata_clean.javacomments.

数据清理和字数统计所需文件：

javacsv.jar（导入以使用csvreader和csvwriter处理数据）

stemwordec（用于查找单词的词干，减少重复并提高效率）

stop_words_eng.txt（用于删除停用词）

data_clean.java（使用java清理并进行字数统计）

1.数据清理

A.从原始数据（语言=

n）中挑选有用的英文推文

B.将所有字母转为小写

C.使用正则表达式删除：

1.1.1（#xxx），1.1.2（http:/xxx）1.1.3at（@xxx）1.1.4标点符号（,!.?*.）1.1.5转发信号（R

T）1.1.6

文本部分中不相关的信息（a/）。（清理以获取有意义的信息）数据)

D.使用stop_words_eng.txt删除所有停用词，使数据更有意义。

E.将句子拆分成单独的单词，准备进行字数统计。

2.字数统计