1. Definiciones preliminares.

2. Interés y aplicaciones.

Este primer tema es introductorio, motiva al estudio de la asignatura e introduce los conceptos básicos que se desarrollarán a continuación.

1. ¿Qué es un corpus?

2. Tipos de anotación

3. Tipos de corpus

4. Ejemplos de corpus

5. Utilidades de un corpus

En este capítulo se proporciona una introducción a las compilaciones de textos o corpus utilizados en el procesamiento del lenguaje natural. Estos textos pueden estar o no anotados con información lingüística. Se describen distintos tipos de corpus y anotaciones, y se presentan ejemplos.

1. Introducción

2. Lenguajes de anotaciones. XML

   1. Generalidades

   2. Componentes de un documento XML

   3. Modelado de datos

   4. Fundamentos de las DTD

   5. Corrección de un documento XML

3. Estándares de anotaciones en XML

   1. TEI

   2. XCES

4. Anotaciones stand-off en XML.

a. Introducción

b. Tecnologías XML para su implementación

5. JSON

En este capítulo se proporciona una introducción sobre los tipos de anotaciones más comunes en corpus textuales. Este tipo de anotaciones facilitan diversas tareas relacionadas con la minería de textos. El lenguaje más común utilizado hoy en día para anotar corpus es XML. Se proporciona una introducción que podrán saltarse aquellos alumnos que ya dispongan de conocimientos al respecto.

A continuación se presentan dos de los estándares XML más utilizados por la comunidad científica así como por profesionales. Uno es muy general, TEI, y el otro, XCES, más específico de las anotaciones con información lingüística. Ambos se utilizan en Ingeniería Lingüística y en aplicaciones de Procesamiento de Lenguaje Natural.

Seguidamente, se presenta una arquitectura de anotaciones que cada vez se utiliza más, las anotaciones stand-off en XML, que permite superar algunas de las limitaciones intrínsecas de XML y facilitar el procesamiento de textos anotados. Se añade información sobre las tecnologías XML que permiten implementar esta arquitectura, genéricamente se denominan XLink. Aquellos alumnos familiarizados con ellas podrán revisar los ejemplos que se proporcionan sin necesidad de repasarlas.

Por último, se presenta JSON un formato de intercambio de datos independiente del lenguaje muy extendido en la actualidad.

1. Motivación
2. Herramientas matemáticas
   1. Nociones de teoría de la probabilidad
   2. Introducción a la Teoría de la Información
3. Modelos Ocultos de Markov y Etiquetado Léxico
   1. Modelos de Markov Ocultos (HMMs)
   2. Etiquetado Léxico
   3. Algoritmo de Viterbi
   4. HMMs: entrenamiento
4. Gramáticas probabilísticas y Análisis sintáctico
   1. Gramáticas probabilísticas (PCFGs)
   2. Análisis sintáctico con PCFGs
   3. Analizador tipo chart

En este capítulo se proporciona una introducción dos de los modelos estadísticos más utilizados en el procesamiento del lenguaje natural: Los modelos de Markov ocultos y las gramáticas probabilísticas. Estos modelos se aplican a dos problemas fundamentales del procesamiento del lenguaje: el etiquetado léxico y el análisis sintáctico. El etiquetado léxico consiste en asignar a cada palabra la categoría que le corresponde (verbo, nombre, etc.) resolviendo los casos ambiguos. El análisis sintáctico consiste en buscar la estructura en la que se organizan las partes de una oración.

1. Introducción.
2. Modelos de representación vectorial.
   1. Antecedentes.
   2. Modelo de espacio vectorial (VSM) y Latent Semantic Indexing (LSI).
3. Funciones de pesado (term weighting functions).
   1. Funciones locales y globales.
4. Selección y reducción de rasgos (feature selection).
   1. Truncado (stemming) y lematización.
   2. Eliminación de stop-words.
   3. Funciones de selección de rasgos.
5. Word Embeddings
   1. word2vec y Glove
   2. Embeddings con n-gramas: FASTTEXT
   3. Embeddings contextualizados
      1. ELMO
      2. BERT

Sea cual sea el modelo de representación que se quiera emplear, casi todos ellos coinciden en considerar la palabra como elemento fundamental. Así, en ultima instancia, una representación será un conjunto de cadenas que, de una u otra forma, representen el contenido del documento a representar. Se proporciona una introducción a los modelos de representación vectoriales, muy utilizados en sistemas de Recuperación de Información, Clasificación y Clustering de documentos.

A continuación, se presentan funciones de ponderación empleadas para calcular la importancia o relevancia de una cadena en el contenido de un texto. Estas funciones pueden emplear parámetros diferentes según los casos; desde la frecuencia de aparición en el documento o en la colección, hasta probabilidades condicionadas en problemas de clasificación automática.

Se introducen también aspectos relacionados con la selección de rasgos (conjunto de cadenas con el que se va a representar) como elementos de transformación de una información que inicialmente es de carácter cualitativo.

Además del clásico modelo de espacio vectorial, en este tema se introducen nuevos modelos de representación que han tomado una especial relevancia en los últimos años, los conocidos como word embeddings. En su forma más básica en su aplicación al Procesamiento del Lenguajes Natural se trata de representaciones vectoriales de términos, en lo que se conoce como representaciones distribuidas, y que se han desarrollado en parte gracias al éxito del deep learning (aprendizaje profundo).

En este capítulo se proporciona una introducción a la representación automática de textos. En general, ésta deberá ser fiel, en primer lugar, al contenido del documento, incluyendo la información necesaria para poder extraer el conocimiento útil que se espera obtener y, a la vez, deberá adecuarse a las especificaciones de los algoritmos que se empleen a continuación.

1. Introducción

2. Métodos de clustering

   1. No jerárquicos

   2. Jerárquicos

   3. Otros

3. Trabajos comparativos

4. Medidas de evaluación

5. Herramientas

Se trata de un tema introductorio a una particular manera de organización de objetos, el clustering o agrupación automática. En este caso nos referimos al clustering de documentos, por lo que el contenido se particulariza a este tipo concreto de objetos. Se revisan las principales familias de algoritmos de clustering analizando sus características. Por último, se presentan estudios comparativos entre diferentes tipos de algoritmos, las medidas de evaluación más frecuentemente utilizadas y algunas herramientas de clustering de libre distribución.

1. Introducción.

2. Clasificación automática de documentos

3. Aprendizaje automático.

4. Tipos de clasificación automática.

   1. Single label / multilabel

   2. Document pivoted / category pivoted

   3. Hard / ranking

   4. Fast-feature / full-feature

   5. Lean / rich categories

5. Técnicas de clasificación automática supervisada.

   1. Naïve Bayes

   2. Árboles de decisión.

   3. Clasificadores basados en reglas.

   4. Máquinas de vectores de soporte (Support Vector Machines).

6. Técnicas de clasificación semisupervisada.

   1. Autoentrenamiento (bootstrapping)

   2. Máquinas de vectores de soporte semisupervisadas (S3VM).

   3. Algoritmo de expectacion-maximización (EM)

7. Evaluación de sistemas de clasificación automática de documentos.

   1. Exactitud (Accuracy).

   2. Precisión (Precision) y cobertura (Recall).

   3. Medida-F (F-measure).

En este capítulo se proporciona una introducción a la clasificación automática de documentos dentro del Aprendizaje Automático. En este contexto, y dependiendo de si se dispone o no de datos etiquetados para realizar la tarea de aprendizaje, se distingue entre aprendizaje supervisado y semisupervisado.

Se describen los diferentes tipos de clasificación automática, así como las principales técnicas tanto en el aprendizaje supervisado como semisupervisado. Por último, se presentan las funciones de evaluación más usadas dentro de los sistemas de clasificación automática de documentos.