计世网

AI同传PK人类同传,这或许是两个职业
来源:极客网
2018-04-19
今年的博鳌亚洲论坛上,第一次出现了AI同传。值得注意的是,这是博鳌论坛创办17年首次采用人工智能同传技术。然而,在如此重要的场合,现场配备的腾讯AI同传却掉了链子。词汇翻译不准确、重复、短语误用等“乌龙”引来各方“嘲笑”。

 

人工智能又又又摔了个跟头。

今年的博鳌亚洲论坛上,第一次出现了AI同传。值得注意的是,这是博鳌论坛创办17年首次采用人工智能同传技术。然而,在如此重要的场合,现场配备的腾讯AI同传却掉了链子。词汇翻译不准确、重复、短语误用等“乌龙”引来各方“嘲笑”。

人们总是把AI跟人类职位对立起来,各种“取代论”层出不穷。博鳌论坛会议前,就出现了许许多多的“取代论新闻”引起了各界关注。最终,AI同传“翻车”,引来外界一片唏嘘。

然而,就目前来看,AI同传前路未明,太早将其与人类同传对立起来实在是“杞人忧天”。除了取代,AI同传其实有更好的路。

 

AI同传PK人类同传,这或许是两个职业

 

图为AI同传内容

AI同传进阶之路:变智能问题为数据问题

很多人都觉得人工智能如果要处理自然语言,就必须理解自然语言。实质上,AI翻译靠的是数字,更准确地来说,是统计。AI同传出错,并不是“智能”不够,实质上,是数据和模型出了问题。

AI同传还需要理解力

首先,AI同传要去理解场景。在博鳌论坛上,会议现场专业度高、覆盖度广,AI对特殊场景的理解还不够。场景对于语义具有至关重要的影响,相同的一句话在不同的场景里有不同的意思。举个例子,“好”这个字在百度汉语显示有多种语义,既可以表示称赞,也可以表示状态,还可以表达问好……诸如此类,语义的表达和理解都要结合具体的场景。在具体的句子中,这种语义与情景的结合就更为紧密,更需要机器理解学习。

其次,AI要理解口语的模糊逻辑。口语翻译是不会百分百传译的,根据AIIC(国际会议口译员协会)的规定,同传译员只要翻译出演讲者内容的80%就已经算是合格了(90%~100%的“同传”几乎是不可能的)。这意味着AI工作量减少吗?当然不,正是这种模糊的东西使得AI同传更加困难,除此之外,口语没有标点符号来标志句子,缺少了必要的声调和停顿,就很容易造成句子的歧义。而模糊的指令极有可能出现的是满屏的错码。

隐马尔可夫模型(HMM)解决统计数据之外的语言问题

然而,在参考腾讯AI同传的失误后,我们发现,仅仅增加数据量还是不够的,在现实生活中,我们也会遇到零概率或者统计量不足的问题。

比如一个汉语的语言模型,就足足达到20万这个量级。曾有人做过这样一个假设,如果刨掉互联网上的垃圾数据,互联网中将会有100亿个有意义的中文网页,这还是相当高估的一个数据,每个网页平均1000词,那么,即使将互联网上上所有中文内容用作训练,依然只有1013。

为了解决数据量的问题,我们提出了隐马尔可夫模型(HMM)。实际应用中,我们可以把HMM看作一个黑箱子,这个黑箱子可以利用比较简洁的数据,处理后得出:

1.每个时刻对应的状态序列;

2.混合分布的均值和方差矩阵;

3.混合分布的权重矩阵;

4.状态间转移概率矩阵。

看起来可能比较复杂,简单点说,这个模型可以通过可观察的数据而发现这个数据域外的状态,即隐含状态。也就是说,我们可以凭借一句话,来探索出这句话后的隐含的意思,从而解决一些微妙的语义问题。

 

AI同传PK人类同传,这或许是两个职业

 

如上图所示,这个模型能够通过你提供的可以明显观察的句子,推断出一个人隐含的心情状态(开心OR难过),并得到最后的行为判断(宅、购物、社交),即通过已知推断出未知。

而如何优化这个模型,得到最优隐含状态?人们提出了许多解决问题的算法,包括前向算法、Viterbi算法和Baum-Welch算法。此中奥妙,难以尽述。但不能否认的是,在深度学习的基础上,数据+模型就能很好地打造出一款AI同传翻译,数据越大,神经网络更好。即使翻译结果不尽如人意,但只要建设足够大的数据库,建立更好的模型,打磨算法,AI同传很快就会有更大的提升。

责任编辑:杨昕仪