تحليل النصوص العربية والإنجليزية للمؤسسات بلغتي Python وR

import re
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline

def normalize(t):
    t = re.sub(r"[\u064B-\u0652\u0640]", "", t)  # marks
    t = re.sub("[إأآ]", "ا", t)
    t = re.sub("ى", "ي", t)
    return re.sub("ة", "ه", t)

# Synthetic labelled comments (pos / neg)
docs = ["الخدمة ممتازة والموظف متعاون",
        "تأخر الرد على الطلب كثيرا",
        "شكرا على سرعة الإنجاز",
        "الموقع لا يعمل والانتظار طويل"]
labels = ["pos", "neg", "pos", "neg"]

vec = TfidfVectorizer(preprocessor=normalize)
clf = make_pipeline(vec, LogisticRegression())
clf.fit(docs, labels)
print(clf.predict(["الموظف متعاون والخدمة سريعة"]))

library(quanteda)
library(topicmodels)

docs <- c("تأخر الرد على الطلب والانتظار طويل",
          "الموظف متعاون والخدمة سريعة",
          "الموقع لا يعمل ورسوم الخدمة مرتفعة",
          "سرعة الإنجاز وتعاون الموظف ممتاز")
# Normalise alef forms and taa marbuta
docs <- gsub("[إأآ]", "ا", docs)
docs <- gsub("ة", "ه", docs)

toks <- tokens(docs, remove_punct = TRUE)
dfm_m <- dfm(toks)
topfeatures(dfm_tfidf(dfm_m), 5)

# Two-topic LDA on the document-feature matrix
lda <- LDA(convert(dfm_m, to = "topicmodels"), k = 2,
           control = list(seed = 42))
terms(lda, 4)