Deep learning for natural language processing: advantages and challenges
By Hang Li. 2018
304 citations recorded by the source corpus.
自然语言处理是人工智能的一个重要方向，研究让计算机使用人类语言、即自然语言的理论和方法。深度学习是指基于深度神经网络的机器学习技术。目前深度学习已成功应用于自然语言处理并取得了重大进展。 本文总结了深度学习用于自然语言处理的成果，并阐述了这一技术的优势和面临的挑战。 该文认为自然语言处理有五个主要任务：分类、匹配、翻译、结构预测和序列决策过程。 这五个任务中的前四个，深度学习方法的表现都优于或显著优于传统方法，并且成为解决这些问题的当前最好技术。第五项任务序列决策过程包括多轮对话，深度学习对该任务的贡献如何尚未得到完全验证。 在深度学习应用于自然语言处理的问题中，机器翻译的进展尤其引人注目，正成为该应用的代表性技术。此外，深度学习还首次使某些应用成为可能，比如，深度学习成功应用于图像检索、生成式的自然语言对话等。 深度学习在自然语言处理中的优势主要在于端到端的训练和表示学习，这使深度学习区别于传统机器学习方法，也使之成为自然语言处理的强大工具。 深度学习面临着一些挑战。比如，缺乏理论基础和模型可解释性、模型训练需要大量数据和强大的计算资源。而深度学习在自然语言处理中也面临一些独特的挑战，如长尾问题、与符号处理的结合，以及推理和决策。 可以预见，未来深度学习与其他技术（强化学习、推断、知识）结合起来将会使自然语言处理更上一层楼。
Subfields: Artificial Intelligence
View Paper: https://www.semanticscholar.org/paper/84db9aa99d2024a73487e6343368379e2fe3640b
How researchers see this paper
The researchers whose trusted networks rank it highest, strongest advocate first. Every researcher gets a different order.
In Artificial Intelligence
- Pallabi Saikia
- Vadlamani Ravi
- Sanchita Basak
- Saptarshi Sengupta
- R. Peters
- Sayak Paul
- Frederick Ditliac Atiah
- Vasilios Tsalavoutis
Citations in the corpus
- A Review of Deep Learning with Special Emphasis on Architectures, Applications and Recent Trends (2019, background): “…Inflectional Review of Deep Learning on Natural Language Processing [264] Deep learning for natural language processing: advantages and challenges [265] Deep Learning for Natural Language Processing [266] Recommender A survey of machine learning for big data processing [276] Deep learning in big…”
- A survey on multimodal large language models (2023, unknown): “Although LLMs have demonstrated surprising zero/few-shot reasoning performance on most Natural Language Processing (NLP) tasks, they are inherently “blind” to vision since they can only understand discrete text.”