面向网络应用环境的口语翻译关键技术与系统

项目（课题）名称：面向网络应用环境的口语翻译关键技术与系统

项目（课题）类型：国家863计划

项目摘要：本课题的目标是：面向限定领域的跨语言通讯问题，研究口语对话翻译关键技术和系统实现方法，实现高水平限定领域内汉英、汉日实时口语对话翻译原型系统。该项目涉及复杂环境下的口语语音识别、口语解析与理解和口语语音合成等关键技术，主要成果包括：

（1）收集了大规模餐饮服务、旅游信息咨询等特定领域、真实场景的口语对话语料14000多段，这批珍贵的口语对话语料为研究汉语口语特性和鲁棒的口语语音识别技术奠定了良好的基础。

（2）在汉语口语语音识别、口语理解和自动翻译方法研究方面，提出并实现了一系列新方法，主要理论研究成果包括：在口语语音识别研究中，实现了多线程并发机制，大大改进了语音识别的性能；面向汉语口语的韵律表现以及语音识别问题，研究了语音层口语韵律特征的抽取与建模技术，验证了一些语音学上的重要结论；在统计机器翻译方法研究中，提出并实现了融入句型信息的汉英双向调序模型；实现了基于层次短语的统计翻译系统中规则冗余度的高效约束方法；实现了基于人机交互的统计翻译方法；实现了基于短语的统计机器翻译的泛化重排序模型；提出并实现了基于多粒度的词对齐方法。

（3）在实验系统开发方面，实现了普通手机之间的汉英、汉日口语对话语音翻译系统。除了普通手机原有的功能以外，该系统可实现手机之间语音翻译：

－基本功能：汉英，汉日语音对话翻译（可视和非可视两种情况）；汉英文字自动翻译等；

－终端配置：支持如下类型的手机终端：NOKIA N95，N82，E71等；

－系统性能：词汇量：约 10000 词汇；速度：2到5实时；翻译领域：日常会话、旅游信息咨询、商务洽谈；翻译准确率：根据2008和2009年国际口语翻译评测（IWSLT）的结果，汉英自动语音翻译结果的BLEU得分均接近或高于0.4,而英汉翻译的结果均好于汉英翻译结果。根据人工评测结果，我们的系统性能在所有参评的翻译系统中（包括 MIT、CMU 等著名大学开发的系统）名列第一。根据我们自己初步测试的结果，对话翻译的可理解率不低于70％。

关键词：口语对话翻译；跨语言通讯；口语解析与理解；口语语音识别；口语语音合成；网络应用环境