O que você sabe sobre NLP?

Tia
Se você leu nosso post falando sobre chatbot, deve ter visto que demos uma palinha sobre NLP. Mas calma, se não viu, vai ver agora e com muito mais detalhes. Depois você vai lá conferir o outro. Combinado?

Vamos lá!

Tanto faz usar NLP ou PLN. O NLP é a sigla em inglês de Natural Language Processing. Já o PLN é a tradução, Processamento de Linguagem Natural. Como você viu, as duas siglas querem dizer a mesma coisa, a única diferença é o idioma que altera a ordem das letras. Se ao longo do post você se deparar com qualquer uma das duas, já sabe que a ordem dos fatores não altera o produto.

Mas, antes de começar, deixa eu dar um spoiler: o NLP é o que nos permite “conversar” com as máquinas/robôs.

Pronto, falei!

Continuando…

O que é Processamento de Linguagem Natural?

O NLP é uma área da Inteligência Artificial (IA) que auxilia os dispositivos tecnológicos a entender, interpretar e manipular a linguagem humana. Funciona como “tradutor”, garantindo que o computador entenda claramente o que o humano está dizendo.

Graças ao NLP, podemos digitar no site de pesquisa, como o Google, e ele responde o que esperamos. E também, comando de voz que damos para uma assistente virtual, como Alexa.

O NLP faz a ponte entre a linguagem natural e a linguagem de programação. A primeira é a que nós seres humanos utilizamos para nos comunicar, a segunda é usada por dispositivos tecnológicos. Então, nós usamos a nossa linguagem e o NLP traduz em linguagem de programação para que o computador entenda.

São as linguagens de programação, como Python, JavaScript, C#, entre outras que os programadores utilizam para criar sistemas e aplicativos.

Além de entender a nossa linguagem, o NLP também capacita os dispositivos a nos responder por meio de texto ou áudios. Podemos citar como exemplo, Google Assistant e os chatbots nos canais de atendimento das empresas.

Principal objetivo do NLP

O principal objetivo do processamento de linguagem natural é garantir que dispositivos tecnológicos e computadores entendam com exatidão o que nós humanos estamos dizendo. Isso gera uma melhora na experiência do usuário com a máquina.

Para que o objetivo seja alcançado, além do NLP ser utilizado pela inteligência artificial para entender e simular a linguagem humana, também entra o machine learning (aprendizado de máquina) e deep learning (aprendizagem profunda), que são tecnologias que ajudam as máquinas a terem uma comunicação cada vez mais fluida com os humanos.

O NLP é quem faz a “mágica” acontecer, quando enviamos uma mensagem para uma empresa via WhastApp, por exemplo, e ela está automatizada com um chatbot, assim a mensagem é lida e interpretada.

A interpretação é o assunto do próximo tópico.

Como funciona o Processamento de Linguagem Natural?

Quando falamos que a mensagem é interpretada, isso engloba a compreensão de diferentes contextos que a mensagem escrita ou falada possa ter. Utiliza-se desde métodos estatísticos e de machine learning até abordagens algorítmicas e baseadas em regras. Temos o pré-processamento, processamento e abordagens. Veja o que acontece em cada um deles:

O pré-processamento de NLP incluem:

  • Tokenização - é a divisão de uma frase em palavras. Nesse processo são retiradas as pontuações e caracteres especiais.
  • Normalização - a normalização é feita depois da tokenização, para que o processo de análise do texto seja mais preciso e procura manter um padrão com todas as letras maiúsculas ou minúsculas. Com isso, podemos encontrar frases semelhantes e fazer a combinação entre elas, se quisermos, independente das diferenças.
  • Léxicos - lida com o significado da palavra quando utilizada em contextos diferentes. A forma coloquial de uma palavra, por exemplo, interfere no resultado final e isso não pode ser ignorado.


Em resumo, as tarefas do NLP fazem a segmentação da linguagem em partes pequenas e essenciais, entende a relação entre elas e analisa o funcionamento dos pedaços juntos, criando um significado.

Agora temos os 7 níveis de processamento, são eles:

  • Fonologia - entende e interpreta os sons das palavras, levando em consideração a pronúncia.

  • Morfologia - entende a composição das palavras, dividindo em morfemas, mesmo sendo fragmentos com significado, não representam uma palavra.

  • Léxico - analisa o significado individual de cada palavra.

  • Sintático - faz a análise completa da frase escrita ou falada.

  • Semântica - complementa o sintático, compreende o significado da frase.

  • Discurso - faz a análise completa para encontrar o significado do texto falado ou escrito.

  • Pragmático - interpreta a mensagem e extrai informações e significados implícitos nas palavras.

E agora, os tipos de abordagem do NLP, que é a forma como os softwares irão tratar os níveis de processamento. São 4 tipos de abordagem:

  • Simbólica - baseada em regras bem definidas e estruturadas de linguísticas, sem ambiguidade.

  • Estatística - utiliza a matemática para realizar a interpretação do texto ou fala.

  • Conexionista - faz a conexão do conhecimento com aprendizado estatístico para interpretar, transformar e manipular textos.

  • Híbrida - é a combinação das 3 anteriores. Flexibiliza e trata problemas relacionados ao NLP com mais eficácia.


Fique tranquilo(a), você não precisará mexer em nada disso, só abordamos essa parte mais técnica, para que você conheça a complexidade por trás da tecnologia. Tudo isso faz com que a máquina seja capaz de entender e elaborar respostas para atender a solicitação do usuário.

Principais aplicações de NLP

Agora que você já sabe que o NLP é o responsável por fazer a comunicação entre humanos e máquinas, está na hora de conhecer os seus usos mais frequentes.

Buscadores online

Plataformas de busca online, como o Google, compreende tanto o que o usuário quer encontrar, quanto o que diz os conteúdos e indica os melhores como resposta. Já percebeu como é rápido esse processo?

Previsão de pesquisas

Dentro dos das plataformas de pesquisa online, ainda falando do Google como exemplo. Já percebeu que quando começamos a digitar algo ele tenta prever o que é? Além de entender o que estamos buscando, também sugere pesquisas.

Aqui entra o aprendizado de máquina, ou seja, aprendeu com os usuários as pesquisas mais frequentes de acordo com os termos que começamos a digitar.

Chatbots

Os chatbots não poderiam ficar de fora dessa lista, pois estão cada vez mais presentes no atendimento via WhatsApp, Facebook Messenger, Telegram das empresas.

Por meio do NLP conseguimos trocar mensagens com os bots, estabelecendo uma conversa totalmente dinâmica.

Existem muitas outras aplicações de NLP, como assistente virtual (Alexa, Siri), resumos de textos, tradutor, filtro de spam de e-mail, correção de textos (Google Docs), etc.

Exemplos de NLP

Para que exista a interação entre linguagem natural e linguagem de programação é preciso integrar o sistema de NLP ao sistema que desejamos utilizar para fazer a comunicação entre humano e máquina.

Usando a aplicação de chatbot como exemplo: é utilizado um dos sistemas existentes de NLP (DialogFlow - Google, LUIS - Micrsoft, Watson Assistant - IBM) em conjunto com a plataforma de chatbot, como a CXDS. Assim, ambos trabalham juntos oferecendo uma excelente experiência ao usuário.

O usuário envia uma mensagem, via canal digital, WhatsApp por exemplo, o bot capta a solicitação, envia para o NLP, que faz a tradução e devolve a resposta com precisão.

Nesse processo, existem dois elementos básicos que são essenciais para que a Inteligência Artificial interprete o texto: entidade e intenção que são cadastradas no momento de criação do bot.

Intenção - é o desejo do usuário ao enviar a mensagem, no qual é percebido pelo chatbot. Exemplo: ao enviar “quero uma pizza grande de calabresa para hoje”, a intenção dele é pedir pizza.

Entidades - são as informações que identificam o alvo da solicitação feita por meio da mensagem. A partir delas, o bot entende exatamente o que o cliente deseja. Exemplo: “Quero uma pizza grande de calabresa para hoje”. Temos mais de uma entidade, são elas: uma, indica quantidade; grande, tamanho da pizza; calabresa, o sabor e hoje, a data.

Com as entidades e intenções criadas, o bot consegue responder exatamente o que o usuário deseja, por meio da ação do NLP.

Prontinho, você acabou de desvendar o segredo dos chatbots, descobriu como eles são capazes de responder com precisão as nossas solicitações.

Agora, que tal ser você a pessoa que vai construir o chatbot, fazer a integração com o NLP do Watson Assistant da IBM e colocar para funcionar?

A Digitia tem um curso chamado Dialog que ensina tudo isso que você precisa saber. Desde os primeiros passos para criar um bot, até a integração nos canais digitais das empresas.

Acesse a nossa página de cursos e conheça.

Ah! A Tia tem mais uma dica de leitura: 5 passos para construir fluxos perfeitos de chatbot.
Criado com