first launch

.gitignore

@@ -0,0 +1 @@
+.venv

app.py

@@ -0,0 +1,37 @@
+# import transformers
+import sentencepiece
+import torch
+import gradio as gr
+
+# from indicnlp.normalize.indic_normalize import IndicNormalizerFactory
+from transformers import MarianMTModel, AutoTokenizer, T5ForConditionalGeneration
+from deep_translator import GoogleTranslator
+
+def summarize(message):
+    tokenizer_bn_en = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-bn-en")
+    model_bn_en = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-bn-en")
+    tokenizer = AutoTokenizer.from_pretrained('t5-base')
+    model = T5ForConditionalGeneration.from_pretrained('t5-base')
+    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
+    with torch.no_grad():
+        # tokenize the input text
+        input_ids = tokenizer_bn_en.encode(message, return_tensors='pt')
+
+        # generate the output translation
+        output_ids = model_bn_en.generate(input_ids)
+        output_text1 = tokenizer_bn_en.decode(output_ids[0], skip_special_tokens=True)
+
+        #input for the summarization model 
+        input_text2 = output_text1
+
+        # tokenize the input text and generate the summary in english 
+        input_ids = tokenizer.encode(input_text2, return_tensors='pt')
+        summary_ids = model.generate(input_ids, max_length=50, num_beams=30, early_stopping=True)
+        summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
+    summarized = GoogleTranslator(source='en', target='bn').translate(summary)
+    return summarized
+
+# summarize("যুক্তরাষ্ট্রের নিউজার্সি অঙ্গরাজ্যের হোপওয়েল শহর এলাকার একটি বাড়ির ছাদে একটি ধাতব বস্তু আছড়ে পড়েছে। ধাতব বস্তুটি উল্কাপিণ্ড হতে পারে বলে ধারণা করা হচ্ছে। এ ঘটনায় কেউ হতাহত হয়নি বলে জানিয়েছে পুলিশ। স্থানীয় সময় গত সোমবার বেলা একটার কিছু সময় পর ওল্ড ওয়াশিংটন ক্রসিং পেনিংটন রোড এলাকায় অবস্থিত একটি বাড়িতে এ ঘটনা ঘটে। পুলিশের ভাষ্য, বস্তুটি আয়তাকার। দেখতে ধাতব পদার্থের মতো। বাড়ির বাসিন্দারা জানান, ঘটনার পর তাঁরা সংশ্লিষ্ট সহায়তা কর্তৃপক্ষকে ফোন করেন। আকাশ থেকে কোনো বস্তু যে বাড়ির ছাদে এসে পড়েছে, এ কথা কর্তৃপক্ষকে বোঝাতে তাঁদের বেগ পেতে হয়েছে।")
+
+iface = gr.Interface(fn=summarize, inputs="text", outputs="text")
+iface.launch()

requirements.txt

@@ -0,0 +1,104 @@
+appdirs==1.4.4
+async-timeout==4.0.2
+attrs==22.2.0
+autocommand==2.2.2
+beautifulsoup4==4.12.2
+Brlapi==0.8.4
+btrfsutil==6.3
+build==0.10.0
+cached-property==1.5.2
+cffi==1.15.1
+chardet==5.1.0
+cmake==3.26.3
+cryptography==40.0.2
+cssselect==1.2.0
+Cython==0.29.34
+deep-translator==1.10.1
+fastjsonschema==2.16.3
+filelock==3.12.0
+flit_core==3.8.0
+fsspec==2023.5.0
+greenlet==2.0.2
+grpcio==1.53.0
+huggingface-hub==0.14.1
+idna==3.4
+ifaddr==0.2.0
+inflect==6.0.4
+installer==0.7.0
+jaraco.context==4.3.0
+jaraco.functools==3.6.0
+jaraco.text==3.11.1
+Jinja2==3.1.2
+lensfun==0.3.3
+Levenshtein==0.21.0
+libfdt==1.7.0
+libtorrent==2.0.8
+lit==16.0.3
+louis==3.25.0
+lxml==4.9.2
+MarkupSafe==2.1.2
+meson==1.1.0
+more-itertools==9.1.0
+mpmath==1.3.0
+msgpack==1.0.5
+netifaces==0.11.0
+netsnmp-python==1.0a1
+networkx==3.1
+nspektr==0.4.0
+numpy==1.24.3
+nvidia-cublas-cu11==11.10.3.66
+nvidia-cuda-cupti-cu11==11.7.101
+nvidia-cuda-nvrtc-cu11==11.7.99
+nvidia-cuda-runtime-cu11==11.7.99
+nvidia-cudnn-cu11==8.5.0.96
+nvidia-cufft-cu11==10.9.0.58
+nvidia-curand-cu11==10.2.10.91
+nvidia-cusolver-cu11==11.4.0.1
+nvidia-cusparse-cu11==11.7.4.91
+nvidia-nccl-cu11==2.14.3
+nvidia-nvtx-cu11==11.7.91
+ordered-set==4.1.0
+packaging==23.0
+platformdirs==3.5.0
+ply==3.11
+protobuf==4.21.12
+psutil==5.9.5
+pwquality==1.4.5
+pycairo==1.23.0
+pycparser==2.21
+pydantic==1.10.7
+pyenchant==3.2.2
+PyGObject==3.44.1
+PyNaCl==1.4.0
+pynvim==0.4.3
+pypandoc==1.11
+pyparsing==3.0.9
+pyproject_hooks==1.0.0
+pywayland==0.4.15
+pywlroots==0.15.24
+pyxdg==0.28
+PyYAML==6.0
+rapidfuzz==3.0.0
+regex==2023.5.5
+requests==2.28.2
+scour==0.38.2
+sentencepiece==0.1.99
+setproctitle==1.3.2
+shiboken2==5.15.9
+six==1.16.0
+soupsieve==2.4.1
+sympy==1.12
+tokenizers==0.13.3
+tomli==2.0.1
+tomli_w==1.0.0
+torch==2.0.1
+tqdm==4.65.0
+transformers==4.29.1
+triton==2.0.0
+trove-classifiers==2023.4.29
+typing_extensions==4.5.0
+ufw==0.36.1
+urllib3==1.26.15
+validate-pyproject==0.12.2.post1.dev0+g2940279.d20230508
+xkbcommon==0.8
+zeroconf==0.39.4