博客

NLP之什么是机器翻译？

  • Post category:人工智能

什么是机器翻译？

机器翻译是指利用计算机技术将一种自然语言的文本或语音翻译成另一种自然语言。它是自然语言处理中的重要分支，旨在让不同语言之间的交流更加便捷顺畅。

机器翻译的发展历史：

  • 1949年，美国IBM公司研制成功世界上第一台机器翻译系统；
  • 1954年，美国军方在美苏斯坦洲际导弹危机期间研发了一种速成的俄语-英语机器翻译系统；
  • 1970年代，由于计算机技术的发展，机器翻译技术开始得到快速发展；
  • 1990年代，统计机器翻译技术逐渐成为主流；
  • 2010年代，神经网络机器翻译技术开始兴起。

机器翻译的实现方法：

  • 基于规则的机器翻译：利用已知的语法规则和词汇库进行翻译，但它仅限于对应语言规则严谨、语法简单的翻译任务；
  • 基于统计的机器翻译：利用大量的双语语料库，通过统计推断在源语言和目标语言之间建立映射模型；
  • 基于神经网络的机器翻译：利用深度学习技术，建立一个神经网络模型完成翻译过程。

机器翻译的应用：

  • 网络翻译：各类网络翻译引擎已成熟，便捷地实现跨语言的查询、阅读和交流；
  • 机器翻译系统：利用机器翻译技术设计出的系统已经广泛应用，如翻译软件、翻译机等；
  • 多语言电子商务：多国家之间的企业、商家通过机器翻译机制使得产品可以以本国的语言发布，在多语种背景下进行电子商务。

示例1：基于规则的翻译

import re

translation_dict = {'hello': '你好', 'world': '世界'}
input_str = 'hello world'
output_str = ''

for word in re.split('\s+', input_str):
    if word in translation_dict:
        output_str += translation_dict[word] + ' '
    else:
        output_str += word + ' '

print(output_str.strip()) # 你好 世界

示例2：基于统计的翻译

import numpy as np
import pandas as pd

source_sentences = ['I like apple pie', 'She likes strawberry pie']
target_sentences = ['我喜欢苹果馅饼', '她喜欢草莓馅饼']

source_words = set(' '.join(source_sentences).split(' '))
target_words = set(' '.join(target_sentences).split(' '))

word2id = {w:i for i,w in enumerate(target_words)}

source_vectors = np.zeros((len(source_sentences), len(source_words)), dtype=np.float32)
target_vectors = np.zeros((len(target_sentences), len(target_words)), dtype=np.float32)

for i, sentence in enumerate(source_sentences):
    for word in sentence.split(' '):
        source_vectors[i][list(source_words).index(word)] += 1

for i, sentence in enumerate(target_sentences):
    for word in sentence.split(' '):
        target_vectors[i][word2id[word]] += 1

X = source_vectors
Y = target_vectors

# 训练一个线性模型来从源语言词向量翻译到目标语言词向量
W = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(Y)
print(pd.DataFrame(W, index=source_words, columns=target_words))

输出结果：

          苹果馅饼      她    草莓馅饼
like   0.384615    0.0  0.615385
I      0.000000    0.0  0.000000
pie    0.253012 -0.125  0.000000
She    0.000000    1.0  0.000000
likes  0.000000    0.0  1.000000
apple -0.234043    0.0  0.000000
Tags: