Escucha social

Análisis de sentimiento especializado en español

Análisis de sentimiento especializado en español: acrónimos y jerga de internet

Análisis de sentimiento en español, un recurso indispensable para el entendimiento de nuestro lenguaje. Te explicamos por qué le es útil a las empresas y las marcas y cómo nos especializamos en la comprensión de la jerga de internet.

Estás escuchando a KarmaPulse, la estación que entiende tus sentimientos. Frecuencia 97.5, con 100,000 watts de potencia. XEQ FM. Transmitiendo desde la Ciudad de México, para la República y para toda América.

Los saludamos desde la feria de los clasificadores de texto, un evento único en su tipo. Esta noche tendremos un BAILAZAZAZO grupero. En un espectacular duelo de bandas se enfrentan 3 nominadas al Grammy Latino por mejor álbum de música banda. ¿Quién será el preferido de los karmaescuchas?

Con ustedes, las 3 bandas que buscan el reconocimiento del público al grupo con mejor entendimiento de las conversaciones en español mexicano que utilizan la jerga de internet:

Mi banda KarmaPulse

Calibre Microsoft

Grupo AWS

 

Al estilo de un Duelo de Bandas, encaramos a 3 clasificadores de texto en su virtud de interpretar el habla coloquial de textos en redes sociales. 

 

La evaluación del análisis de sentimiento en español

A pesar de la oferta en herramientas de análisis de texto, para KarmaPulse es prioridad el procesamiento del idioma español, y la especialización en expresiones mexicanas.

Dado que nuestros productos no solo minan data social, sino que analizan diferentes fuentes de datos, es imprescindible mantener actualizados nuestros algoritmos frente la actitud masiva de los usuarios alrededor de un tema.

¿Por qué especializarnos en español? Las potencias en herramientas operadas con machine learning profundizan el análisis de las conversaciones en inglés. Con los recursos que fueron educados sus sistemas realizan el procesamiento de comunicaciones en otros idiomas, sin considerar que el español tiene juegos en su lengua tales como el doble sentido, albures, etc.

 

Selección de temas para la especialización en el análisis del sentimiento

El estudio de la eficacia en clasificación polarizada de los temas requiere disciplina. Esta tarea demanda dos características: actualidad y automatización.

La automatización del análisis de sentimiento se consigue con muestras estadísticas de las conversaciones vigentes. Pero para lograr la vigencia de los temas debemos analizar tendencias con rigor.

Con este fin buscamos nuevas expresiones que nos permitan conocer la actitud, opinión, sentimiento o emoción de los hablantes en determinado contexto.

Estudiamos a los nuestros conjuntos de datos a lo largo del tiempo y en diferentes rubros. Encontramos una constante que puede definir o cambiar todo el sentimiento de una oración: la jerga de internet.

Analicemos este tweet:

Maldita, tqm estúpida!!!

El acrónimo de “te quiero mucho” cambia completamente el sentido de la oración, pasando de ser una ofensa a una muestra de profunda confianza y cariño.

Así como ésta, encontramos una infinidad de oraciones que podrían parecer negativas y no lo son. 3 letras son capaces de modificar todo el sentido de lo que queremos comunicar. No solo con acrónimos en español como mms, dlv, alv, prro, etc; sino de otras adoptadas del inglés como wtf, bro, lol, etc. A su vez, los hablantes en internet elegimos letras y símbolos que se traducen en emociones como xD o <3.

 

¿Cómo hacer un análisis de sentimiento?

En el artículo clasificadores de sentimiento chingones explicamos a detalle la metodología para la evaluación de la acertividad de los clasificadores de sentimiento, pero aquí explicamos brevemente el procedimiento. Si quieres conocer más, ve al artículo.

  1. Minería de datos: obtenemos la información en la colecta de tweets originales en español que contengan alguna expresión, abreviatura, acrónimo, etc. en un periodo de 2 semanas. 
  2. Muestra de validación: considerando todo los tweets colectados el universo de la información, seleccionamos una muestra significativa para calificarla personalmente por un grupo de analistas. Esta muestra se considera el punto de partida para la calificación de los aciertos que consigan los clasificadores de texto.
  3. Conexiones con otros servicios de clasificación: comparamos los resultados de KarmaPulse, AWS y Microsoft con la muestra validada.
  4. Resultados y porcentaje de exactitud: conseguimos la exactitud de los clasificadores luego de un análisis. Aquí presentamos los resultados.

 

Resultados del análisis de sentimiento

Clasificador de texto Porcentaje de exactitud
Text analytics de Microsoft 51.78% 
Comprehend de AWS 52.33%
Metrics de KarmaPulse 63.00%

 

Hicimos la evaluación con una muestra equilibrada de 900 tweets, es decir, 300 positivos, 300 negativos y 300 neutrales.

La muestra consideró que cada uno de esos 900 mensajes estuvieran correctamente ordenados en las categorías.

Cada uno de los clasificadores le dio valor a los 900 tweets, siendo KarmaPulse el que obtuvo la calificación más alta, por acertar en 567 de los 900 mensajes.

 

Negativo: Wordcloud de palabras más frecuentes

Análisis de sentimiento negativo

 

Neutral: Wordcloud de palabras más frecuentes

Análisis de sentimiento neutral

 

Positivo: Wordcloud de palabras más frecuentesAnálisis de sentimiento positivo

 

Matrices de confusión

Para educar a los clasificadores es importante conocer la forma en la que las herramientas se equivoca. Esto marca una tendencia del clasificador respecto a un tema. Cuando sabemos si se inclinan hacia una categoría u otra, podemos entrenarlos para reconocer el resto de los mensajes.

Estas tablas muestran cada uno de los análisis de sentimiento que hicieron los clasificadores de texto y se leen así:

cómo leer una matriz de confusión

El número la variable x nos dice cuántos tweets clasificó cada herramienta en las categorías. Cada uno de los cuadros, variable y, nos dice cuántos de esos tweets pertenecían a las categorías correctas. Entonces leemos la matriz de izquierda a derecho y de arriba a abajo, como muestran las flechas rojas.

De esta forma la flecha amarilla nos indica cuáles fueron los verdaderos aciertos del clasificador y a qué categoría tienden las calificaciones.

 

KarmaPulse: matriz de confusión de 

Matriz de confusión KarmaPulse

Nuestro clasificador tiene muy buena exactitud y precisión al categorizar mensajes negativos y positivos, ya que acertó 208 de los 300 tweets negativos y 210 de los 300 positivos. En cambio requiere entrenamiento en mensajes que incluyan este tipo de abreviaturas y sean de carácter neutral.

 

Amazon: matriz de confusión 

Matriz de confusión Amazon

El clasificador de Amazon tuvo conflicto con esta muestra, ya que categorizó la mayoría de  los mensajes como neutrales. Con el fin de no errar en su decisión de ordenarlos como positivos o negativos, colocó como neutrales 584 de los 900 mensajes a analizar. Acertó en 248 de los 300 posibles tweets neutrales.

 

Microsoft: matriz de confusión 

Matriz de confusión Microsoft

Por su parte, el clasificador de Microsoft mostró exactitud al calificar como negativos 373 tweets y acertando en 196.

 

Conclusiones

  • En esta evaluación nos encontramos con 3 tipos de clasificadores de sentimiento. 
  1. El clasificador que entiende el sentimiento polarizado de las conversaciones. KarmaPulse comprende si los mensajes tienen una intensión positiva o negativa mejor que cualquiera de los otros 2 clasificadores.
  2. La herramienta que busca la neutralidad de la muestra al no poder definir si los tweets son positivos o negativos. AWS tuvo dudas de la muestra, así que colocó la mayor parte de ellos como neutrales.
  3. El análisis de sentimiento que tiene precisión hacia una sola dirección. Microsoft tuvo precisión únicamente en el sentimiento negativo de los mensajes, lo que quiere decir que su entrenamiento comprende únicamente algunas expresiones de la infinidad que existen en el español mexicano.
  • Aunque parecería AWS y Microsoft tienen una exactitud muy similar, recordemos que la precisión de cada uno tiende a sentimientos diferente. AWS tiende a la neutralidad mientras Microsoft busca ordenar al sentimiento negativo.

 

En este duelo de bandas Mi banda KarmaPulse puso a bailar a todos. Si quieres comenzar a analizar las conversaciones de tus usuarios, escríbenos. Tenemos una solución para ti. Puedes recibir más información en el chat de la esquina inferior derecha.