自主技术

分词与词性标注


发表时间:2013-11-05     发布人:小秀     阅读:45192 次      (107)

摘要: 分词与词性标注

我们的分词和词性标注系统,针对这些社会媒体的特殊性行进了特别处理。         

东西 总体来说,中文的分词和词性标注比英文要困难得多。这些困难主要体现在:歧义的情形(如“和服”、“产品和服务”、“东和服装”);未登录词的处理(如新 产品名、人名等专有名词);处理标准一致的判定(如“吃饭”和“洗澡”是当成一个词还是两个词)。在社会媒体中,中文的分词和词性标注包含了更多的挑战:

  • 随着社会媒体的发展,热衷网络交流的用户逐步形成一些社会媒体特有的表达和词汇(Internet Slang)。例如,“这东东粉pp”、“酱紫”(“这东西很漂亮”、“就这样子”)在论坛中是很时尚的说法。并且,和传统语言相比,这些新词汇和新表达的涌现“超速度”。
  • 多语言和符号的混杂。文字中穿插表情符号图形,在年轻人发布的日志和博客中非常流行。微软空间腾讯博客,提供了有趣的图片和动画集,让用户来表达他们的心情和感受。这些图片和动画,所表达的含义甚至比语言更丰富和传神。与此同时,中英文夹杂,缩写也变得十分普遍。lolorz等新词汇在社会论坛中所代表的含义,远远超出简单的几个字所能表达,并且很多这样的符号和语言后面都有一个故事。例如,中文论坛最近很流行的“囧”就是由日本引进的,并且跟orz大有渊源(“囧rz”)。像WindowsiPhone这样代表产品和品牌的词汇,很多用户都直接采用,它们的中文名称很多人反而不熟悉。

这些因素表明,网络语言中有很多传统的分词和词性标注程序不能处理的情形。 我们的分词和词性标注系统,针对这些社会媒体的特殊性行进了特别处理。 在现有公共分词和词性标注语料库的基础上,我们专门收集了大量的典型网络文章, 重新训练了分析和词性标注的语言模型。 因此,能够很好地处理很有“个性”的网络文章。         

快速评论


评论记录
评论内容 评论时间
Best porn and adult apps to watch xxx material on android or ios https://minneapolis-nokarani.danexxx.com/?jacqueline-katherine free porn peeing pants pictures of old porn movies 1970s mofo porn hub naked famlily guy porn 3d porn africa fuck 2025-10-12
My queer experience at a resort designed for straight couples https://sturgismotorcyclerally2015.miyuhot.com/?alicia-alicia cherokee d ass free porn porn girls swimming pool spongebob hentai porn comics renamon porn games porn f4ree 2025-10-12
Step Into a World of Images: Daily New Galleries Across Multiple Themes https://bdsmch-raunchyhalloweenjokes.alypics.com/?alma-mandy young milf porn videos sega girl homebrew howtoporn adult hot goth men porn list of best classic porn movies cartoon of alexa vega porn 2025-10-12
Lesbian mature films fresh old videos porn old and mature lesbians https://christmasgiftsformexicandad.dudeporn69.com/?katie-parker foreign porn sites directory mature ponr video gallerys dirty talk porn sites yung xxx porn top free latinas porn sites 2025-10-11
World leading measures to protect children from accessing https://updogjoke.celebrityamateur.com/?diamond-kassandra famous porj stars mike inofuentes porn seventies porn forum free porn lezbian porn review porn amateur mature 2025-10-11
Hannah brooks porn videos verified pornstar profile pornhub https://maintain-androidsexyforeverepisode1onlinefree.moesexy.com/?aliya-ashlyn cmnf free porn wife swapper porn 2 girls on one guy porn emma frost fiction porn big bottom porn 2025-10-11
16 best tv ma rated adult tv shows of all time the cinemaholic https://winston-salem-surgery.jsutandy.com/?alyssa-madisyn anime porn xxx boy force fucks girl porn clips buy skinny porn loneley housewifes porn tube whore old stockings porn 2025-10-11
The xconfessions series depicts sex after 70 as it really is https://babyfotoshooting.tiktokpornstar.com/?odalys-kathy free amarican cartoon porn ahsoka porn video midwest missy porn free amature porn hosting finding porn on limwire 2025-10-11
Lapsus gta 6 hacker handed indefinite hospital order bbc https://iwank-android-sexy-back-x-men-big.bestsexyblog.com/?alina-jazmine trista porn free skinny black porn porn star long dong silver porn lezbians powered by phpbb free dominican porn videos 2025-10-10
Big black dicks monstrous cocks huge black cocks bravo porn https://kim-kardashian-xx-french-porn.celebrityamateur.com/?stella-madelynn bdsm piercing porn tube mommy is cheating porn interracial 3d porn sex porn stars of the 1980 s stoked cartoon porn 2025-10-10