Skip to content
Snippets Groups Projects
Commit 22c11ead authored by Pablo Valdunciel's avatar Pablo Valdunciel
Browse files

merged

parents 76784f6d f25cea3d
No related branches found
No related tags found
No related merge requests found
...@@ -2,12 +2,11 @@ ...@@ -2,12 +2,11 @@
Parte del Trabajo de Fin de Grado **"Asistentes virtuales: estado del arte y desarrollo de un prototipo"** realizado por D. Pablo Valdunciel Sánchez. Parte del Trabajo de Fin de Grado **"Asistentes virtuales: estado del arte y desarrollo de un prototipo"** realizado por D. Pablo Valdunciel Sánchez.
## Estructura del repositorio ## Estructura del repositorio
- **data/** - **data/**
- **datatsets/** - **datatsets/**
- **get_datasets.bash**: *script* que permite descargar los conjuntos de datos utilizados en la evaluación y que es una modificación del proporcionado en el toolkit [SentEval](https://github.com/facebookresearch/SentEval). - **get_datasets.bash**: *script* que permite descargar los conjuntos de datos utilizados en la evaluación y que es una modificación del presente en el toolkit [SentEval](https://github.com/facebookresearch/SentEval).
- **tokenizer.vec** - **tokenizer.vec**
- **embedding/** - **embedding/**
- **fasttext/get_fasttext_embeddings.bash**: *script* que descarga el conjunto de de vectores de palabras computado con FastText utilizado. - **fasttext/get_fasttext_embeddings.bash**: *script* que descarga el conjunto de de vectores de palabras computado con FastText utilizado.
...@@ -33,6 +32,7 @@ Parte del Trabajo de Fin de Grado **"Asistentes virtuales: estado del arte y des ...@@ -33,6 +32,7 @@ Parte del Trabajo de Fin de Grado **"Asistentes virtuales: estado del arte y des
- **utils.py**: contiene algunas funciones de utilidad como para preprocesar las oraciones y evaluar los resultados de los diferentes métodos. - **utils.py**: contiene algunas funciones de utilidad como para preprocesar las oraciones y evaluar los resultados de los diferentes métodos.
## Evaluación ## Evaluación
Para ver la evaluación, acceda al fichero [evaluation.pdf](./evaluation.pdf). En el caso de que desee ejecutar el código de la evaluación, contenido en el fichero de Jupyter Notebook [evaluation.ipynb](./evaluation.ipynb), puede seguir los siguientes pasos: Para ver la evaluación, acceda al fichero [evaluation.pdf](./evaluation.pdf). En el caso de que desee ejecutar el código de la evaluación, contenido en el fichero de Jupyter Notebook [evaluation.ipynb](./evaluation.ipynb), puede seguir los siguientes pasos:
...@@ -129,14 +129,14 @@ spacy==2.2.4 ...@@ -129,14 +129,14 @@ spacy==2.2.4
# Comparison of pre-trained Word2Vec, GloVe and FastText vectors to measure semantic similarity between sentence pairs # Comparativa de vectores pre-entrenados de Word2Vec, GloVe y FastText para medir la similaridad semántica entre pares de oraciones
## Repository structure ## Repository structure
- **data/** - **data/**
- **datatsets/** - **datatsets/**
- **get_datasets.bash**: script that downloads the data sets used in the evaluation and which is a modification of the one present in the [SentEval](https://github.com/facebookresearch/SentEval) toolkit . - **get_datasets.bash**: *script* que permite descargar los conjuntos de datos utilizados en la evaluación y que es una modificación del proporcionado en el toolkit [SentEval](https://github.com/facebookresearch/SentEval).
- **tokenizer.vec** - **tokenizer.vec**
- **embedding/** - **embedding/**
- **fasttext/get_fasttext_embeddings.bash**: script that downloads the set of word vectors computed with the FastText used. - **fasttext/get_fasttext_embeddings.bash**: script that downloads the set of word vectors computed with the FastText used.
...@@ -156,10 +156,6 @@ spacy==2.2.4 ...@@ -156,10 +156,6 @@ spacy==2.2.4
- **load.py**: contains a set of functions to load and preprocess the different data sets used. The code is based on what can be found in the [SentEval](https://github.com/facebookresearch/SentEval) toolkit . - **load.py**: contains a set of functions to load and preprocess the different data sets used. The code is based on what can be found in the [SentEval](https://github.com/facebookresearch/SentEval) toolkit .
- **methods.py**: contains the functions that implement the three evaluated methods to calculate the semantic similarity between two pairs of sentences: average, Smooth Inverse Frequency(SIF), and Word Mover's distance.
- **utils.py**: contains some utility functions to preprocess sentences and evaluate the results of the different methods.
## Evaluation ## Evaluation
......
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Please to comment