Update files

project/corpus_analitics.py

@@ -101,6 +101,7 @@ listaemojis.Positive=listaemojis.Positive/listaemojis.Occurrences
 listaemojis.Neutral=listaemojis.Neutral/listaemojis.Occurrences
 
 import emoji
+# Emojis en lista completa
 emojis=[]
 nemoji=0 #Número de emojis en el corpus
 nemoji_corpus=0  #Emojis que se encuentran en el léxico
@@ -115,14 +116,71 @@ for i in range(0,len(lista)):
             nemoji_corpus+=1
             numero_emojis_corpus[i]+=1
 
+# Emojis en lista de nonulos
+emojis_nonulos=[]
+nemoji_nonulos=0 #Número de emojis en el corpus
+nemoji_corpus_nonulos=0  #Emojis que se encuentran en el léxico
+numero_emojis_nonulos=np.zeros(len(lista_nonulos)) #Para contar número de tweets sin emojis
+numero_emojis_corpus_nonulos=np.zeros(len(lista_nonulos)) #Para contar número de tweets sin emojis confrontado con el léxico
+for i in range(0,len(lista_nonulos)):
+    emojis_nonulos=text_has_emoji(preprocessed_nonulos[i])
+    for e in emojis_nonulos:
+        nemoji_nonulos+=1
+        numero_emojis_nonulos[i]+=1
+        if listaemojis['Emoji'].eq(e).any():
+            nemoji_corpus_nonulos+=1
+            numero_emojis_corpus_nonulos[i]+=1
+
+# Emojis en lista de nulos
+emojis_nulos=[]
+nemoji_nulos=0 #Número de emojis en el corpus
+nemoji_corpus_nulos=0  #Emojis que se encuentran en el léxico
+numero_emojis_nulos=np.zeros(len(lista_nulos)) #Para contar número de tweets sin emojis
+numero_emojis_corpus_nulos=np.zeros(len(lista_nulos)) #Para contar número de tweets sin emojis confrontado con el léxico
+for i in range(0,len(lista_nulos)):
+    emojis_nulos=text_has_emoji(preprocessed_nulos[i])
+    for e in emojis_nulos:
+        nemoji_nulos+=1
+        numero_emojis_nulos[i]+=1
+        if listaemojis['Emoji'].eq(e).any():
+            nemoji_corpus_nulos+=1
+            numero_emojis_corpus_nulos[i]+=1
+
 noemojis=numero_emojis[numero_emojis<1].size
 noemojis_corpus=numero_emojis_corpus[numero_emojis_corpus<1].size
+
+noemojis_nonulos=numero_emojis_nonulos[numero_emojis_nonulos<1].size
+noemojis_corpus_nonulos=numero_emojis_corpus_nonulos[numero_emojis_corpus_nonulos<1].size
+
+noemojis_nulos=numero_emojis_nulos[numero_emojis_nulos<1].size
+noemojis_corpus_nulos=numero_emojis_corpus_nulos[numero_emojis_corpus_nulos<1].size
+
+# Conjunto completo
+print("------Conjunto Completo-----")
 print("Número de emojis encontrados:",sum(numero_emojis))
-print("Número de emojis en el léxico:",nemoji_corpus, "(",nemoji_corpus/sum(numero_emojis),"%)")
-print("Número de tweets sin emojis:",noemojis,"(",noemojis/15000,"%)")
-print("Media de emojis en tweets con emojis:",sum(numero_emojis)/(15000-noemojis))
-print("Número de tweets sin emojis en el léxico:",noemojis_corpus,"(",noemojis_corpus/15000,"%)")
-print("Media de emojis en tweets con emojis del léxico:",sum(numero_emojis_corpus)/(15000-noemojis_corpus))
+print("Número de emojis en el léxico:",nemoji_corpus, '(',round(nemoji_corpus/sum(numero_emojis)*100,2),"%)")
+print("Número de tweets sin emojis:",noemojis,"(",round(noemojis/15000*100,2),"%)")
+print("Media de emojis en tweets con emojis:",round(sum(numero_emojis)/(15000-noemojis),2))
+print("Número de tweets sin emojis en el léxico:",noemojis_corpus,"(",round(noemojis_corpus/15000*100,2),"%)")
+print("Media de emojis en tweets con emojis del léxico:",sum(numero_emojis_corpus)/(15000-noemojis_corpus),"\n")
+
+# Conjunto nonulos
+print("------Conjunto Nonulos-----")
+print("Número de emojis encontrados:",sum(numero_emojis_nonulos))
+print("Número de emojis en el léxico:",nemoji_corpus_nonulos, '(',round(nemoji_corpus_nonulos/sum(numero_emojis_nonulos)*100,2),"%)")
+print("Número de tweets sin emojis:",noemojis_nonulos,"(",round(noemojis_nonulos/len(lista_nonulos)*100,2),"%)")
+print("Media de emojis en tweets con emojis:",round(sum(numero_emojis_nonulos)/(len(lista_nonulos)-noemojis_nonulos),2))
+print("Número de tweets sin emojis en el léxico:",noemojis_corpus_nonulos,"(",round(noemojis_corpus_nonulos/len(lista_nonulos)*100,2),"%)")
+print("Media de emojis en tweets con emojis del léxico:",sum(numero_emojis_corpus_nonulos)/(len(lista_nonulos)-noemojis_corpus_nonulos),"\n")
+
+# Conjunto nulos
+print("------Conjunto Nulos-----")
+print("Número de emojis encontrados:",sum(numero_emojis_nulos))
+print("Número de emojis en el léxico:",nemoji_corpus_nulos, '(',round(nemoji_corpus_nulos/sum(numero_emojis_nulos)*100,2),"%)")
+print("Número de tweets sin emojis:",noemojis_nulos,"(",round(noemojis_nulos/len(lista_nulos)*100,2),"%)")
+print("Media de emojis en tweets con emojis:",round(sum(numero_emojis_nulos)/(len(lista_nulos)-noemojis_nulos),2))
+print("Número de tweets sin emojis en el léxico:",noemojis_corpus_nulos,"(",round(noemojis_corpus_nulos/len(lista_nulos)*100,2),"%)")
+print("Media de emojis en tweets con emojis del léxico:",sum(numero_emojis_corpus_nulos)/(len(lista_nulos)-noemojis_corpus_nulos),"\n")
 
 #-- Diagrama de barras de emojios/tweets
 # Para todos los emojis
@@ -202,7 +260,8 @@ formas_grande.Frec_Abs=formas_grande.Frec_Abs.str.replace(',', '')
 formas_grande.Frec_Abs=formas_grande.Frec_Abs.astype(float)
 formas_grande=formas_grande[formas_grande.Frec_Abs>50] # 77729
 
-print("----Corpus 10000 términos----\n")
+#  Corpus con 10000 formas
+print("----Corpus 10000 formas----\n")
 #Formas en tweets completo
 formas_rae_completo=0
 for num in range(0,len(lista)):
@@ -210,7 +269,7 @@ for num in range(0,len(lista)):
         if formas_df['Forma'].eq(palabra).any():
             formas_rae_completo+=1
 print("Formas RAE completo:",formas_rae_completo)
-print("Porcentaje:",formas_rae_completo/sum(total_preproc))
+print("Porcentaje:",formas_rae_completo/(sum(total_preproc)-sum(numero_emojis)))
 
 #Formas en tweets no nulos
 formas_rae_nonulo=0
@@ -219,7 +278,7 @@ for num in range(0,len(lista_nonulos)):
         if formas_df['Forma'].eq(palabra).any():
             formas_rae_nonulo+=1
 print("Formas RAE nonulo:",formas_rae_nonulo)
-print("Porcentaje:",formas_rae_nonulo/sum(nonulos_preproc))
+print("Porcentaje:",formas_rae_nonulo/(sum(nonulos_preproc)-sum(numero_emojis_nonulos)))
 
 #Formas en tweets nulos
 formas_rae_nulo=0
@@ -228,9 +287,10 @@ for num in range(0,len(lista_nulos)):
         if formas_df['Forma'].eq(palabra).any():
             formas_rae_nulo+=1
 print("Formas RAE nulo:",formas_rae_nulo)
-print("Porcentaje:",formas_rae_nulo/sum(nulos_preproc))
+print("Porcentaje:",formas_rae_nulo/(sum(nulos_preproc)-sum(numero_emojis_nulos)),"\n")
 
-print("----Corpus 77729 términos----\n")
+#  Corpus con 77729 formas
+print("----Corpus 77729 formas----\n")
 #Formas en tweets completo
 formas_rae_completo=0
 for num in range(0,len(lista)):
@@ -238,7 +298,7 @@ for num in range(0,len(lista)):
         if formas_grande['Forma'].eq(palabra).any():
             formas_rae_completo+=1
 print("Formas RAE completo:",formas_rae_completo)
-print("Porcentaje:",formas_rae_completo/sum(total_preproc))
+print("Porcentaje:",formas_rae_completo/(sum(total_preproc)-sum(numero_emojis)))
 
 #Formas en tweets no nulos
 formas_rae_nonulo=0
@@ -247,7 +307,7 @@ for num in range(0,len(lista_nonulos)):
         if formas_grande['Forma'].eq(palabra).any():
             formas_rae_nonulo+=1
 print("Formas RAE nonulo:",formas_rae_nonulo)
-print("Porcentaje:",formas_rae_nonulo/sum(nonulos_preproc))
+print("Porcentaje:",formas_rae_nonulo/(sum(nonulos_preproc)-sum(numero_emojis_nonulos)))
 
 #Formas en tweets nulos
 formas_rae_nulo=0
@@ -256,4 +316,4 @@ for num in range(0,len(lista_nulos)):
         if formas_grande['Forma'].eq(palabra).any():
             formas_rae_nulo+=1
 print("Formas RAE nulo:",formas_rae_nulo)
-print("Porcentaje:",formas_rae_nulo/sum(nulos_preproc))
+print("Porcentaje:",formas_rae_nulo/(sum(nulos_preproc)-sum(numero_emojis_nulos)),"\n")