智迹闻AuraTracer
EN

EVENT DOSSIER

MoirfEolas和Cr\'iochScore:为评估与爱尔兰语形态学一致的标记化策略开发相关资源

2026-09-07 12:00 科学 跨 2 天 🔥 47.2 事件热度
2家信源
2天持续发酵
47.2事件热度
3个提及
摘要由 AI 生成

2026 年 9 月 4 日,arXiv cs.CL 发布 MoirfEolas 数据集及 CríochScore 评估指标。MoirfEolas 包含超 35,000 个爱尔兰单词及其词根、前缀和后缀映射,旨在缓解该语言的低资源状态并供其他语言仿制。CríochScore 用于衡量分词算法与形态边界的一致性。研究利用该指标评估常用分词算法,发现单词语言模型在与其他算法对比时更常保持与爱尔兰语形态一致。此外,研究揭示了分词形态对齐与压缩率及词汇效率之间的权衡关系,为爱尔兰自然语言处理开发提供实践见解。

相关事件RELATED EVENTS
关键实体KEY ENTITIES
Cr'iochScoreCríochScoreMoirfEolas

报道态势 · 每日报道量LANGUAGE SPLIT

实体关系
Cr'iochScore × MoirfEol…1CríochScore × MoirfEolas1

整合时间线UNIFIED TIMELINE

  1. 2026-09-04

    MoirfEolas and CríochScore: Developing …

    本研究发布了针对爱尔兰语的新分词资源及与形态边界对齐的评估指标。作者提出了包含超过 35,000 个爱尔兰单词及其对应前缀、后缀和词根映射数据的 MoirfEolas 数据集,以及用于评估分词与 MoirfEolas 中形态边界对齐程度的…

  2. 2026-09-07

    MoirfEolas and Cr\'iochScore: Developin…

    本文发布 MoirfEolas 数据集及 Cr\'iochScore 评估指标,旨在开发爱尔兰语分词资源并评估其与形态边界的一致性。MoirfEolas 包含超过 35,000 个爱尔兰单词及其对应的词根、前缀和后缀映射;Cr\'ioch…

信号强度SIGNALS

关键词热度
  • MoirfEolas2
  • Cr'iochScore1
  • CríochScore1

全部报道(2)SOURCES

A arXiv cs.CL en 2026-09-04 19:41

MoirfEolas and CríochScore: Developing Resources for and the Evaluation of Tokenization Alignment with Irish Morphology

本研究发布了针对爱尔兰语的新分词资源及与形态边界对齐的评估指标。作者提出了包含超过 35,000 个爱尔兰单词及其对应前缀、后缀和词根映射数据的 MoirfEolas 数据集,以及用于评估分词与 MoirfEolas 中形态边界对齐程度的 CríochScore 指标。研究利用上述指标及现有分词文献中的内在指标,对常用分词算法进行了评估,发现单词语言模型在与其他算法相比时更常与爱尔兰语形态保持一致。此外,研究揭示了分词在形态对齐、压缩效率及词汇效率之间的权衡关系,为爱尔兰自然语言处理开发提供了实践见解。该数据集有助于缓解爱尔兰语的低资源状态,其构建过程可供其他语言仿效以创建专门的形态资源。

A arXiv cs.CL en 2026-09-07 12:00

MoirfEolas and Cr\'iochScore: Developing Resources for and the Evaluation of Tokenization Alignment with Irish Morphology

本文发布 MoirfEolas 数据集及 Cr\'iochScore 评估指标,旨在开发爱尔兰语分词资源并评估其与形态边界的一致性。MoirfEolas 包含超过 35,000 个爱尔兰单词及其对应的词根、前缀和后缀映射;Cr\'iochScore 用于衡量分词与 MoirfEolas 中形态边界的对齐程度。研究利用 Cr\'iochScore 及文献中的内在指标评估了常用分词算法,发现单词语言模型在与其他算法相比时更常与爱尔兰语形态保持一致。此外,研究揭示了分词形态对齐与压缩率及词汇效率之间的权衡关系,为爱尔兰自然语言处理开发提供实践见解。该数据集有助于缓解爱尔兰语的低资源状态,其构建过程可供其他语言仿制以创建专门的形态资源。