Spaces:

tosanoob
/

finance-bot

Sleeping

App Files Files Community

tosanoob commited on 15 days ago

Commit

44f095f

1 Parent(s): e48425a

feat: add news report

Browse files

Files changed (10) hide show

.gitignore +1 -0
Home.py +9 -9
env-example +5 -1
modules/email_sender.py +226 -0
modules/news_pipeline.py +539 -0
pages/Daily_News_Report.py +140 -0
pages/{stock_report.py → Stock_Analysis.py} +0 -0
pages/{chat_app.py → Stock_Chatbot.py} +2 -1
requirements.txt +6 -0
test.py +235 -0

.gitignore CHANGED Viewed

@@ -1,3 +1,4 @@
 .env
 PLAN.md
 __pycache__/

 .env
 PLAN.md
+PLAN_UPDATE.md
 __pycache__/

Home.py CHANGED Viewed

@@ -46,20 +46,20 @@ if hasattr(st, 'empty'):
         ### Main Features:
-        1. **💬 Chat with AI Financial Analyst**:
-           - Search for stock information
-           - View price charts
-           - Convert currencies
         &nbsp;
-        2. **📄 In-depth Stock Analysis Report**:
            - Comprehensive analysis of a specific stock
            - Data collection from multiple sources
            - Generate in-depth reports with AI evaluation
         &nbsp;
-        3. **📰 Daily Market Summary Newsletter** (Coming soon):
-           - Compilation of latest financial news
-           - Categorized by topic
-           - Daily market updates
         ### How to Use:

         ### Main Features:
+        1. **📰 Daily News Report** - Summary of the latest financial news:
+           - Compilation of latest financial news
+           - Categorized by topic
+           - Daily market updates
         &nbsp;
+        2. **📄 Stock Analysis Report** - In-depth analysis of a specific stock:
            - Comprehensive analysis of a specific stock
            - Data collection from multiple sources
            - Generate in-depth reports with AI evaluation
         &nbsp;
+        3. **💬 Stock Chatbot** - Chat with AI Financial Analyst:
+           - Search for stock information
+           - View price charts
+           - Convert currencies
         ### How to Use:

env-example CHANGED Viewed

@@ -9,4 +9,8 @@ NGROK_STATIC_DOMAIN=
 # Invest insight app
 ALPHA_VANTAGE_API_KEY=
 NEWS_API_KEY=
-MARKETAUX_API_KEY=

 # Invest insight app
 ALPHA_VANTAGE_API_KEY=
 NEWS_API_KEY=
+MARKETAUX_API_KEY=
+# Email
+SENDER_APP_PASSWORD=
+SENDER_EMAIL=<email_address>@gmail.com

modules/email_sender.py ADDED Viewed

	@@ -0,0 +1,226 @@

+import os
+import smtplib
+import tempfile
+from email.mime.multipart import MIMEMultipart
+from email.mime.text import MIMEText
+from email.mime.application import MIMEApplication
+from dotenv import load_dotenv
+from markdown_it import MarkdownIt
+from datetime import datetime
+import weasyprint
+# Tải biến môi trường
+load_dotenv()
+# Thông tin email từ biến môi trường
+SENDER_EMAIL = os.getenv("SENDER_EMAIL")
+SENDER_APP_PASSWORD = os.getenv("SENDER_APP_PASSWORD")
+def _markdown_to_html(markdown_string):
+    """Convert Markdown to HTML"""
+    md = MarkdownIt()
+    html_content = md.render(markdown_string)
+    # Format current date
+    current_date = datetime.now().strftime("%d/%m/%Y")
+    # Create complete HTML with CSS for nice formatting
+    full_html = f"""
+    <!DOCTYPE html>
+    <html>
+    <head>
+        <meta charset="UTF-8">
+        <meta name="viewport" content="width=device-width, initial-scale=1.0">
+        <title>Daily Market Report - {current_date}</title>
+        <style>
+            @page {{
+                size: A4;
+                margin: 2cm;
+            }}
+            body {{
+                font-family: Arial, Helvetica, sans-serif;
+                line-height: 1.5;
+                color: #333;
+                max-width: 800px;
+                margin: 0 auto;
+            }}
+            .report-header {{
+                text-align: center;
+                margin-bottom: 30px;
+            }}
+            .report-date {{
+                font-style: italic;
+                color: #666;
+                margin-bottom: 10px;
+            }}
+            .report-title {{
+                font-size: 24pt;
+                margin-bottom: 5px;
+                color: #2c3e50;
+            }}
+            .report-subtitle {{
+                font-size: 14pt;
+                color: #7f8c8d;
+                margin-top: 0;
+            }}
+            .report-body {{
+                text-align: justify;
+            }}
+            h1, h2, h3, h4, h5, h6 {{
+                color: #2c3e50;
+                margin-top: 20px;
+            }}
+            h1 {{ font-size: 20pt; }}
+            h2 {{ font-size: 18pt; }}
+            h3 {{ font-size: 16pt; }}
+            h4 {{ font-size: 14pt; }}
+            h5 {{ font-size: 12pt; }}
+            h6 {{ font-size: 10pt; }}
+            p {{
+                margin-bottom: 10px;
+            }}
+            a {{
+                color: #3498db;
+                text-decoration: none;
+            }}
+            a:hover {{
+                text-decoration: underline;
+            }}
+            ul, ol {{
+                margin: 10px 0 10px 20px;
+            }}
+            li {{
+                margin-bottom: 5px;
+            }}
+            blockquote {{
+                border-left: 4px solid #eee;
+                padding-left: 10px;
+                margin-left: 0;
+                color: #777;
+            }}
+            .section {{
+                margin-bottom: 30px;
+            }}
+            .footer {{
+                text-align: center;
+                margin-top: 40px;
+                padding-top: 20px;
+                font-size: 12px;
+                color: #777;
+                border-top: 1px solid #eee;
+            }}
+            /* Custom styling for bullet points */
+            ul {{
+                list-style-type: disc;
+            }}
+            ul ul {{
+                list-style-type: circle;
+            }}
+            ul ul ul {{
+                list-style-type: square;
+            }}
+        </style>
+    </head>
+    <body>
+        <div class="report-header">
+            <div class="report-date">Date: {current_date}</div>
+            <h1 class="report-title">Daily Market Report</h1>
+            <h2 class="report-subtitle">AI Financial Dashboard</h2>
+        </div>
+        <div class="report-body">
+            {html_content}
+        </div>
+        <div class="footer">
+            This report was automatically generated by AI Financial Dashboard. Information is for reference only.
+        </div>
+    </body>
+    </html>
+    """
+    return full_html
+def _generate_pdf_from_markdown(markdown_string):
+    """Generate PDF from Markdown using WeasyPrint"""
+    # Convert markdown to HTML
+    html_content = _markdown_to_html(markdown_string)
+    # Create temporary HTML file
+    with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as temp_html:
+        temp_html_path = temp_html.name
+        temp_html.write(html_content.encode('utf-8'))
+    # Create PDF from HTML
+    try:
+        # Create temporary PDF filename
+        with tempfile.NamedTemporaryFile(suffix='.pdf', delete=False) as temp_pdf:
+            temp_pdf_path = temp_pdf.name
+        # Generate PDF
+        weasyprint.HTML(filename=temp_html_path).write_pdf(temp_pdf_path)
+        # Read PDF content
+        with open(temp_pdf_path, 'rb') as f:
+            pdf_data = f.read()
+        # Delete temporary files
+        os.unlink(temp_html_path)
+        os.unlink(temp_pdf_path)
+        return pdf_data
+    except Exception as e:
+        # Handle errors and ensure temporary files are deleted
+        if os.path.exists(temp_html_path):
+            os.unlink(temp_html_path)
+        raise e
+def send_report_via_email(report_markdown, recipient_email):
+    """Send market report via email"""
+    try:
+        # Generate PDF from markdown
+        pdf_data = _generate_pdf_from_markdown(report_markdown)
+        # Create message
+        message = MIMEMultipart()
+        message["From"] = SENDER_EMAIL
+        message["To"] = recipient_email
+        message["Subject"] = f"AI Financial Dashboard - Daily Market Report {datetime.now().strftime('%d/%m/%Y')}"
+        # Add content with UTF-8 encoding
+        body = """
+        Dear User,
+        Attached is today's financial market report, automatically generated by AI Financial Dashboard.
+        Best regards,
+        AI Financial Dashboard Team
+        """
+        message.attach(MIMEText(body, "plain", "utf-8"))
+        # Attach PDF file
+        attachment = MIMEApplication(pdf_data, _subtype="pdf")
+        attachment.add_header(
+            "Content-Disposition", "attachment",
+            filename=f"Market_Report_{datetime.now().strftime('%Y%m%d')}.pdf"
+        )
+        message.attach(attachment)
+        # Connect to SMTP server and send email
+        with smtplib.SMTP_SSL("smtp.gmail.com", 465) as server:
+            server.login(SENDER_EMAIL, SENDER_APP_PASSWORD)
+            server.send_message(message)
+        return True, "Email sent successfully!"
+    except Exception as e:
+        return False, f"Error sending email: {str(e)}"

modules/news_pipeline.py ADDED Viewed

	@@ -0,0 +1,539 @@

+import os
+import asyncio
+import aiohttp
+import time
+import re
+import random
+from datetime import datetime, timedelta
+import google.generativeai as genai
+from dotenv import load_dotenv
+from concurrent.futures import ThreadPoolExecutor
+from groq import Groq, AsyncGroq
+from threading import Lock
+# Tải biến môi trường
+load_dotenv()
+# Cấu hình Gemini AI
+GEMINI_API_KEY = os.getenv("GEMINI_API_KEY")
+genai.configure(api_key=GEMINI_API_KEY)
+MODEL_NAME = os.getenv("GEMINI_MODEL", "gemini-2.5-flash")
+# Cấu hình Groq AI
+GROQ_API_KEYS_STR = os.getenv("GROQ_API_KEY", "")
+GROQ_MODEL = "meta-llama/llama-4-scout-17b-16e-instruct"  # Model Llama4 qua Groq
+# Quản lý nhiều API keys cho Groq
+class GroqClientManager:
+    """Quản lý pool các Groq clients với logic round-robin"""
+    def __init__(self, api_keys_str):
+        # Tách chuỗi API keys (key1,key2,key3) thành list
+        self.api_keys = [key.strip() for key in api_keys_str.split(",") if key.strip()]
+        if not self.api_keys:
+            raise ValueError("Không tìm thấy API key hợp lệ cho Groq")
+        print(f"Khởi tạo {len(self.api_keys)} Groq API clients")
+        # Tạo pool của các client
+        self.clients = [AsyncGroq(api_key=key) for key in self.api_keys]
+        self.current_index = 0
+        self.lock = Lock()
+        # Thống kê sử dụng
+        self.usage_stats = {i: 0 for i in range(len(self.api_keys))}
+    def get_next_client(self):
+        """Lấy client tiếp theo theo cơ chế round-robin"""
+        with self.lock:
+            client = self.clients[self.current_index]
+            # Cập nhật thống kê
+            self.usage_stats[self.current_index] += 1
+            # Di chuyển đến key tiếp theo
+            self.current_index = (self.current_index + 1) % len(self.clients)
+            return client
+    def print_usage_stats(self):
+        """In thống kê sử dụng của từng API key"""
+        with self.lock:
+            print("\n--- Thống kê sử dụng Groq API keys ---")
+            total_calls = sum(self.usage_stats.values())
+            for idx, count in self.usage_stats.items():
+                key_preview = f"{self.api_keys[idx][:8]}..." if len(self.api_keys[idx]) > 10 else self.api_keys[idx]
+                percentage = (count / total_calls * 100) if total_calls > 0 else 0
+                print(f"Key {idx+1} ({key_preview}): {count} lần gọi ({percentage:.1f}%)")
+            print(f"Tổng số lần gọi API: {total_calls}")
+            print("---------------------------------------\n")
+# Khởi tạo singleton manager
+groq_client_manager = GroqClientManager(GROQ_API_KEYS_STR)
+# Giữ lại một client đơn cho compatibility
+groq_client = Groq(api_key=groq_client_manager.api_keys[0] if groq_client_manager.api_keys else "")
+MAX_ARTICLES = 30 # 5 for testing, 30 for production
+# Các API keys
+NEWS_API_KEY = os.getenv("NEWS_API_KEY")
+MARKETAUX_API_KEY = os.getenv("MARKETAUX_API_KEY")
+ALPHA_VANTAGE_API_KEY = os.getenv("ALPHA_VANTAGE_API_KEY")
+# Cấu hình kiểm soát tốc độ gọi API
+MAX_REQUESTS_PER_MINUTE = 10  # Để an toàn, giữ dưới 10
+BATCH_SIZE = 10               # Số lượng bài báo được xử lý cùng lúc
+DELAY_BETWEEN_BATCHES = 10   # Thời gian chờ giữa các batch (giây)
+RETRY_DELAY_BASE = 5         # Thời gian cơ sở cho retry (giây)
+MAX_RETRIES = 3              # Số lần thử lại tối đa
+# Cấu hình riêng cho Groq API
+GROQ_BATCH_SIZE = 10        # Số lượng bài báo được xử lý cùng lúc khi dùng Groq (cao hơn Gemini)
+GROQ_DELAY_BETWEEN_REQUESTS = 2  # Thời gian chờ giữa các request riêng lẻ với Groq (giây)
+GROQ_DELAY_BETWEEN_BATCHES = 5  # Thời gian chờ giữa các batch với Groq (giây)
+class NewsArticle:
+    """Lớp tiêu chuẩn hóa cho các bài báo từ các nguồn khác nhau"""
+    def __init__(self, title, description, content, source_name, url, published_at):
+        self.title = title
+        self.description = description
+        self.content = content
+        self.source_name = source_name
+        self.url = url
+        self.published_at = published_at
+    def __str__(self):
+        return f"{self.title} ({self.source_name})"
+    def __eq__(self, other):
+        if not isinstance(other, NewsArticle):
+            return False
+        # So sánh bằng URL hoặc tiêu đề
+        return self.url == other.url or self.title == other.title
+    def __hash__(self):
+        # Sử dụng URL làm hash
+        return hash(self.url)
+async def fetch_from_newsapi():
+    """Lấy tin tức từ NewsAPI"""
+    url = "https://newsapi.org/v2/everything"
+    yesterday = datetime.now() - timedelta(days=1)
+    yesterday_str = yesterday.strftime('%Y-%m-%d')
+    params = {
+        'q': 'finance OR economy OR stock market OR investing',
+        'from': yesterday_str,
+        'language': 'en',
+        'sortBy': 'publishedAt',
+        'pageSize': 50,
+        'apiKey': NEWS_API_KEY
+    }
+    async with aiohttp.ClientSession() as session:
+        async with session.get(url, params=params) as response:
+            if response.status == 200:
+                data = await response.json()
+                articles = []
+                if data.get('status') == 'ok' and 'articles' in data:
+                    for article in data['articles']:
+                        articles.append(
+                            NewsArticle(
+                                title=article.get('title', ''),
+                                description=article.get('description', ''),
+                                content=article.get('content', ''),
+                                source_name=article.get('source', {}).get('name', 'Unknown'),
+                                url=article.get('url', ''),
+                                published_at=article.get('publishedAt', '')
+                            )
+                        )
+                return articles
+            return []
+async def fetch_from_marketaux():
+    """Lấy tin tức từ Marketaux API"""
+    url = "https://api.marketaux.com/v1/news/all"
+    params = {
+        'symbols': 'AAPL,MSFT,TSLA,AMZN,NVDA,META',  # Một số mã chứng khoán phổ biến
+        'filter_entities': 'true',
+        'language': 'en',
+        'published_after': (datetime.now() - timedelta(days=1)).strftime('%Y-%m-%dT%H:%M'),
+        'limit': 50,
+        'api_token': MARKETAUX_API_KEY
+    }
+    async with aiohttp.ClientSession() as session:
+        async with session.get(url, params=params) as response:
+            if response.status == 200:
+                data = await response.json()
+                articles = []
+                if 'data' in data:
+                    for article in data['data']:
+                        articles.append(
+                            NewsArticle(
+                                title=article.get('title', ''),
+                                description=article.get('description', ''),
+                                content=article.get('snippet', ''),
+                                source_name=article.get('source', ''),
+                                url=article.get('url', ''),
+                                published_at=article.get('published_at', '')
+                            )
+                        )
+                return articles
+            return []
+def _normalize_and_deduplicate(articles_list):
+    """Chuẩn hóa và loại bỏ các bài báo trùng lặp"""
+    # Loại bỏ trùng lặp bằng cách chuyển thành set
+    unique_articles = set()
+    for article in articles_list:
+        if article.title and article.content:  # Bỏ qua bài viết không có tiêu đề hoặc nội dung
+            # Loại bỏ các bài quảng cáo và không liên quan
+            skip_keywords = ["advertisement", "sponsored", "promotion"]
+            if not any(keyword in article.title.lower() for keyword in skip_keywords):
+                unique_articles.add(article)
+    # Sắp xếp theo thời gian xuất bản (mới nhất trước)
+    sorted_articles = sorted(
+        unique_articles,
+        key=lambda x: datetime.fromisoformat(x.published_at.replace('Z', '+00:00').replace('T', ' ')),
+        reverse=True
+    )
+    # Giới hạn số lượng bài viết
+    max_articles = min(len(sorted_articles), MAX_ARTICLES)  # Giảm số lượng bài từ 30 xuống 20
+    return sorted_articles[:max_articles]
+async def _call_ai_with_retry(prompt, model, retries=MAX_RETRIES):
+    """Gọi Gemini API với cơ chế retry và exponential backoff"""
+    attempt = 0
+    last_exception = None
+    while attempt <= retries:
+        try:
+            # Thêm jitter vào delay để tránh đồng bộ hóa các yêu cầu
+            jitter = random.uniform(0.5, 1.5)
+            if attempt > 0:
+                # Exponential backoff với jitter
+                delay = (RETRY_DELAY_BASE * (2 ** (attempt - 1))) * jitter
+                print(f"Retry lần {attempt}, đợi {delay:.2f} giây...")
+                await asyncio.sleep(delay)
+            response = await model.generate_content_async(prompt)
+            return response.text
+        except Exception as e:
+            last_exception = e
+            print(f"Lỗi khi gọi AI (lần {attempt+1}/{retries+1}): {str(e)}")
+            # Nếu đây là lỗi quota, thêm thời gian chờ dài hơn
+            if "429" in str(e) or "quota" in str(e).lower():
+                # Thêm thời gian chờ dài hơn cho lỗi quota (60-90 giây)
+                quota_delay = random.uniform(60, 90)
+                print(f"Phát hiện lỗi quota, đợi {quota_delay:.2f} giây...")
+                await asyncio.sleep(quota_delay)
+            attempt += 1
+    # Nếu đã hết số lần thử lại, ném ngoại lệ
+    if last_exception:
+        raise last_exception
+    else:
+        raise Exception("Không thể gọi API Gemini sau nhiều lần thử lại")
+async def _call_groq_with_retry(prompt, retries=MAX_RETRIES):
+    """Gọi Groq API với cơ chế retry và round-robin API keys"""
+    attempt = 0
+    last_exception = None
+    while attempt <= retries:
+        try:
+            # Thêm jitter vào delay để tránh đồng bộ hóa các yêu cầu
+            jitter = random.uniform(0.5, 1.5)
+            if attempt > 0:
+                # Exponential backoff với jitter
+                delay = (RETRY_DELAY_BASE * (2 ** (attempt - 1))) * jitter
+                print(f"Retry Groq lần {attempt}, đợi {delay:.2f} giây...")
+                await asyncio.sleep(delay)
+            # Lấy client tiếp theo từ round-robin pool
+            client = groq_client_manager.get_next_client()
+            response = await client.chat.completions.create(
+                model=GROQ_MODEL,
+                messages=[
+                    {"role": "user", "content": prompt}
+                ],
+                temperature=0.3,  # Thấp hơn để tóm tắt chính xác
+                max_tokens=500,   # Giới hạn độ dài tóm tắt
+                top_p=0.95,
+                stream=False
+            )
+            return response.choices[0].message.content
+        except Exception as e:
+            last_exception = e
+            print(f"Lỗi khi gọi Groq API (lần {attempt+1}/{retries+1}): {str(e)}")
+            # Nếu đây là lỗi rate limit hoặc quota
+            if "429" in str(e) or "rate" in str(e).lower() or "limit" in str(e).lower():
+                # Thêm thời gian chờ dài hơn
+                rate_limit_delay = random.uniform(30, 45)
+                print(f"Phát hiện lỗi rate limit, đợi {rate_limit_delay:.2f} giây...")
+                await asyncio.sleep(rate_limit_delay)
+            attempt += 1
+    # Nếu đã hết số lần thử lại, ném ngoại lệ
+    if last_exception:
+        raise last_exception
+    else:
+        raise Exception("Không thể gọi API Groq sau nhiều lần thử lại")
+async def _summarize_article_with_groq(article):
+    """Tạo tóm tắt cho một bài báo sử dụng Groq API"""
+    prompt = f"""
+    Summarize the most important information from this financial article in a concise paragraph (no more than 2-3 sentences).
+    Focus on key events, figures, trends, or information valuable to investors.
+    Provide only the summary without any introduction or conclusion.
+    TITLE: {article.title}
+    DESCRIPTION: {article.description}
+    CONTENT: {article.content}
+    SOURCE: {article.source_name}
+    """
+    try:
+        # Sử dụng hàm gọi Groq API có retry
+        summary = await _call_groq_with_retry(prompt)
+        # Loại bỏ các ký tự đặc biệt và chuẩn hóa
+        summary = re.sub(r'[\n\r]+', ' ', summary)
+        summary = re.sub(r'\s{2,}', ' ', summary).strip()
+        return {
+            'title': article.title,
+            'source': article.source_name,
+            'summary': summary,
+            'url': article.url
+        }
+    except Exception as e:
+        print(f"Lỗi khi tóm tắt bài báo với Groq: {str(e)}")
+        return {
+            'title': article.title,
+            'source': article.source_name,
+            'summary': "Unable to summarize this article due to API limitations.",
+            'url': article.url
+        }
+async def _summarize_article(article, model):
+    """Tạo tóm tắt cho một bài báo với Gemini (giữ lại để dự phòng)"""
+    prompt = f"""
+    Summarize the most important information from this financial article in a concise paragraph (no more than 2-3 sentences).
+    Focus on key events, figures, trends, or information valuable to investors.
+    Provide only the summary without any introduction or conclusion.
+    TITLE: {article.title}
+    DESCRIPTION: {article.description}
+    CONTENT: {article.content}
+    SOURCE: {article.source_name}
+    URL: {article.url}
+    """
+    try:
+        # Sử dụng hàm gọi API có retry
+        summary = await _call_ai_with_retry(prompt, model)
+        # Loại bỏ các ký tự đặc biệt và chuẩn hóa
+        summary = re.sub(r'[\n\r]+', ' ', summary)
+        summary = re.sub(r'\s{2,}', ' ', summary).strip()
+        return {
+            'title': article.title,
+            'source': article.source_name,
+            'summary': summary,
+            'url': article.url
+        }
+    except Exception as e:
+        print(f"Lỗi khi tóm tắt bài báo với Gemini: {str(e)}")
+        return {
+            'title': article.title,
+            'source': article.source_name,
+            'summary': "Unable to summarize this article due to API limitations.",
+            'url': article.url
+        }
+async def _summarize_articles_with_groq(articles):
+    """Tóm tắt các bài báo bằng Groq API"""
+    all_summaries = []
+    # Chia bài viết thành các batch nhỏ
+    for i in range(0, len(articles), GROQ_BATCH_SIZE):
+        batch = articles[i:i+GROQ_BATCH_SIZE]
+        print(f"Đang xử lý batch {i//GROQ_BATCH_SIZE + 1}/{(len(articles) + GROQ_BATCH_SIZE - 1)//GROQ_BATCH_SIZE} ({len(batch)} bài) với Groq")
+        # Tạo danh sách các coroutines để xử lý song song
+        tasks = [_summarize_article_with_groq(article) for article in batch]
+        # Chờ tất cả các task hoàn thành
+        batch_summaries = await asyncio.gather(*tasks)
+        all_summaries.extend(batch_summaries)
+        # Nếu còn batch tiếp theo, đợi để tránh vượt quá quota
+        if i + GROQ_BATCH_SIZE < len(articles):
+            wait_time = random.uniform(GROQ_DELAY_BETWEEN_BATCHES * 0.9, GROQ_DELAY_BETWEEN_BATCHES * 1.1)
+            print(f"Hoàn thành batch. Đang đợi {wait_time:.2f}s trước batch tiếp theo để tránh quá tải quota...")
+            await asyncio.sleep(wait_time)
+    # In thống kê sử dụng API keys
+    groq_client_manager.print_usage_stats()
+    return all_summaries
+async def _summarize_articles_in_batches(articles, model):
+    """Tóm tắt các bài báo theo batch với Gemini API (giữ lại để dự phòng)"""
+    all_summaries = []
+    # Chia bài viết thành các batch nhỏ
+    for i in range(0, len(articles), BATCH_SIZE):
+        batch = articles[i:i+BATCH_SIZE]
+        print(f"Đang xử lý batch {i//BATCH_SIZE + 1}/{(len(articles) + BATCH_SIZE - 1)//BATCH_SIZE} ({len(batch)} bài)")
+        # Xử lý các bài trong batch một cách tuần tự để tránh quá tải API
+        batch_summaries = []
+        for article in batch:
+            # Thêm jitter vào delay để tránh đồng bộ hóa các yêu cầu
+            delay = random.uniform(1.0, 3.0)
+            await asyncio.sleep(delay)
+            summary = await _summarize_article(article, model)
+            batch_summaries.append(summary)
+        all_summaries.extend(batch_summaries)
+        # Nếu còn batch tiếp theo, đợi để tránh vượt quá quota
+        if i + BATCH_SIZE < len(articles):
+            wait_time = random.uniform(DELAY_BETWEEN_BATCHES * 0.9, DELAY_BETWEEN_BATCHES * 1.1)
+            print(f"Hoàn thành batch. Đang đợi {wait_time:.2f}s trước batch tiếp theo để tránh quá tải quota...")
+            await asyncio.sleep(wait_time)
+    return all_summaries
+async def _synthesize_newsletter(summaries, model):
+    """Reduce phase: Tổng hợp các tóm tắt thành một bản tin hoàn chỉnh sử dụng Gemini API"""
+    # Giới hạn số lượng tóm tắt để đảm bảo không vượt quá token limit
+    # if len(summaries) > 15:
+    #     print(f"Giới hạn số lượng tóm tắt từ {len(summaries)} xuống 15 để phù hợp với giới hạn token")
+    #     summaries = summaries[:15]
+    # Chuẩn bị dữ liệu đầu vào cho prompt
+    summaries_text = ""
+    for i, s in enumerate(summaries, 1):
+        summaries_text += f"{i}. **{s['title']}** ({s['source']}): {s['summary']} [Link]({s['url']})\n\n"
+    # Prompt để tạo bản tin
+    prompt = f"""
+    Below are summaries from {len(summaries)} financial articles published in the last 24 hours:
+    {summaries_text}
+    Write a comprehensive market report based on these summaries. The report should:
+    1. Have an overall headline for the entire report
+    2. Be organized into clear sections by topic, such as:
+       - Macroeconomic Developments
+       - Corporate News
+       - Stock Market Performance
+       - Cryptocurrency and Fintech
+       - Expert Opinions and Forecasts
+    3. Each section should have at least 3-5 concise news points, with sources cited
+    4. End with a brief conclusion about the overall market trends
+    Format the report in Markdown. Ensure clear numbering and proper Markdown syntax.
+    """
+    try:
+        # Thêm jitter vào delay trước khi gọi API tổng hợp
+        await asyncio.sleep(random.uniform(3.0, 5.0))
+        # Sử dụng hàm gọi API có retry
+        newsletter = await _call_ai_with_retry(prompt, model)
+        # Thêm phần thông tin về ngày tạo
+        today = datetime.now().strftime("%d/%m/%Y")
+        newsletter = f"# DAILY MARKET REPORT - {today}\n\n" + newsletter
+        # Thêm phần footer
+        footer = """
+---
+*This report was automatically generated by AI Financial Dashboard based on data from multiple reliable financial news sources.*
+*Note: This is not investment advice.*
+        """
+        newsletter += footer
+        return newsletter
+    except Exception as e:
+        print(f"Lỗi khi tạo bản tin: {str(e)}")
+        return """# DAILY MARKET REPORT
+We're sorry, but the market report could not be automatically generated due to API limitations. Please try again later.
+---
+*Note: The system has collected data but could not generate the report due to API quota limitations.*
+        """
+async def run_news_summary_pipeline():
+    """Hàm chính để chạy toàn bộ pipeline tạo bản tin"""
+    start_time = time.time()
+    # 1. Khởi tạo model
+    model = genai.GenerativeModel(MODEL_NAME)
+    # 2. Thu thập tin tức từ nhiều nguồn song song
+    print("Đang thu thập tin tức từ các nguồn...")
+    tasks = [
+        fetch_from_newsapi(),
+        fetch_from_marketaux()
+    ]
+    # Chờ tất cả các task hoàn thành
+    results = await asyncio.gather(*tasks)
+    # Gộp kết quả từ các nguồn
+    all_articles = []
+    for articles in results:
+        if articles:
+            all_articles.extend(articles)
+    print(f"Đã thu thập {len(all_articles)} bài báo từ các nguồn.")
+    # 3. Chuẩn hóa và loại bỏ trùng lặp
+    articles = _normalize_and_deduplicate(all_articles)
+    print(f"Sau khi lọc: {len(articles)} bài báo duy nhất.")
+    # 4. Tóm tắt từng bài báo sử dụng Groq API (nhanh hơn, quota cao hơn)
+    print("Bắt đầu tóm tắt các bài báo với Groq API...")
+    try:
+        summaries = await _summarize_articles_with_groq(articles)
+        print(f"Đã tóm tắt {len(summaries)} bài báo với Groq API.")
+    except Exception as e:
+        print(f"Lỗi khi sử dụng Groq API: {str(e)}. Chuyển sang sử dụng Gemini API...")
+        # Fallback sang Gemini nếu có lỗi với Groq
+        summaries = await _summarize_articles_in_batches(articles, model)
+        print(f"Đã tóm tắt {len(summaries)} bài báo với Gemini API.")
+    # 5. Tổng hợp bản tin sử dụng Gemini API (tốt hơn với việc viết nội dung dài)
+    print("Đang tạo bản tin tổng hợp với Gemini API...")
+    newsletter = await _synthesize_newsletter(summaries, model)
+    # Thống kê thời gian thực hiện
+    end_time = time.time()
+    duration = end_time - start_time
+    print(f"Pipeline hoàn tất trong {duration:.2f} giây.")
+    return newsletter

pages/Daily_News_Report.py ADDED Viewed

	@@ -0,0 +1,140 @@

+import os
+import streamlit as st
+import asyncio
+from datetime import datetime
+import sys
+import traceback
+import re
+from email_validator import validate_email, EmailNotValidError
+# Add project root to path for imports
+sys.path.append(os.path.dirname(os.path.dirname(__file__)))
+# Import required modules
+from modules.news_pipeline import run_news_summary_pipeline
+from modules.email_sender import send_report_via_email
+# Page setup
+st.set_page_config(
+    page_title="Daily Market News Report",
+    page_icon="📰",
+    layout="wide",
+    initial_sidebar_state="expanded"
+)
+# Initialize session state
+if "news_report_initialized" not in st.session_state:
+    st.session_state.news_report_initialized = True
+    if "newsletter_content" not in st.session_state:
+        st.session_state.newsletter_content = None
+    if "last_generated" not in st.session_state:
+        st.session_state.last_generated = None
+# Create main container
+main_container = st.container()
+with main_container:
+    # Page title
+    st.title("📰 Daily Market News Report")
+    # Description
+    st.markdown("""
+    This feature uses AI to automatically scan, analyze, and summarize the latest financial news from multiple reliable sources.
+    The newsletter is updated daily, helping you quickly grasp market developments.
+    """)
+    # Create columns for generate button and timestamp
+    col1, col2 = st.columns([4, 8])
+    with col1:
+        # Button to create a new newsletter
+        if st.button("🔄 Generate Today's Report", use_container_width=True):
+            # Show spinner while processing
+            with st.spinner("AI is analyzing news from multiple sources..."):
+                try:
+                    # Call newsletter pipeline
+                    newsletter = asyncio.run(run_news_summary_pipeline())
+                    # Save results to session state
+                    st.session_state.newsletter_content = newsletter
+                    st.session_state.last_generated = datetime.now()
+                    # Display success message
+                    st.success("Report successfully generated!")
+                except Exception as e:
+                    st.error(f"An error occurred: {str(e)}")
+                    traceback.print_exc()
+    with col2:
+        # Display last generation time
+        if st.session_state.last_generated:
+            st.info(f"Last updated: {st.session_state.last_generated.strftime('%d/%m/%Y %H:%M')}")
+    # Display newsletter if available
+    if st.session_state.newsletter_content:
+        # Create tabs to display newsletter and email form
+        tab1, tab2 = st.tabs(["Report", "Email Report"])
+        with tab1:
+            # Display newsletter content
+            st.markdown(st.session_state.newsletter_content)
+        with tab2:
+            # Form to send email
+            st.markdown("### Send Report via Email")
+            with st.form(key="email_form"):
+                # Email input
+                email = st.text_input("Enter email address to receive the report")
+                # Submit button
+                submit_button = st.form_submit_button(label="📩 Send Report via Email")
+                if submit_button:
+                    # Validate email
+                    if not email:
+                        st.error("Please enter an email address.")
+                    else:
+                        try:
+                            # Validate email format
+                            validate_email(email)
+                            # Show spinner while sending
+                            with st.spinner("Sending email..."):
+                                # Call send email function
+                                success, message = send_report_via_email(
+                                    st.session_state.newsletter_content,
+                                    email
+                                )
+                                # Display result
+                                if success:
+                                    st.success(message)
+                                else:
+                                    st.error(message)
+                        except EmailNotValidError:
+                            st.error("Invalid email address.")
+                        except Exception as e:
+                            st.error(f"An error occurred: {str(e)}")
+            # Add privacy note
+            st.info("📝 **Note:** Your email is only used to send this report and is not stored.")
+    else:
+        # Display note if no newsletter available
+        st.info("👆 Click 'Generate Today's Report' to start analyzing the news.")
+        # Add explanation about process
+        with st.expander("How it works"):
+            st.markdown("""
+            ### Report Generation Process:
+            1. **Data Collection**: The system automatically scans the latest financial news from multiple reliable sources.
+            2. **Analysis & Filtering**: AI removes duplicate and irrelevant news, keeping only the most important information.
+            3. **Summarization**: Each article is summarized into key points, helping you quickly grasp the information.
+            4. **Synthesis**: AI organizes information by topics and writes it into a well-structured report.
+            5. **Display & Share**: The final report is displayed on the web and can be sent via email upon request.
+            """)

pages/{stock_report.py → Stock_Analysis.py} RENAMED Viewed

File without changes

pages/{chat_app.py → Stock_Chatbot.py} RENAMED Viewed

@@ -13,6 +13,7 @@ from datetime import datetime
 # --- 1. INITIAL CONFIGURATION & STATE INITIALIZATION ---
 load_dotenv()
 # Set page config consistent with other pages
 st.set_page_config(
@@ -159,7 +160,7 @@ def get_model_and_tools():
     get_ts_func = glm.FunctionDeclaration(name="get_smart_time_series", description="Get price history data after knowing the official stock symbol.", parameters=glm.Schema(type=glm.Type.OBJECT, properties={'symbol': glm.Schema(type=glm.Type.STRING), 'time_period': glm.Schema(type=glm.Type.STRING, enum=["intraday", "1_week", "1_month", "6_months", "1_year"])}, required=['symbol', 'time_period']))
     currency_func = glm.FunctionDeclaration(name="perform_currency_conversion", description="Convert currency after knowing the 3-letter code of source/target currency pair, e.g., USD/VND, JPY/EUR", parameters=glm.Schema(type=glm.Type.OBJECT, properties={'amount': glm.Schema(type=glm.Type.NUMBER), 'symbol': glm.Schema(type=glm.Type.STRING)}, required=['amount', 'symbol']))
     finance_tool = glm.Tool(function_declarations=[find_stock_func, get_ts_func, currency_func])
-    model = genai.GenerativeModel(model_name="gemini-2.5-flash", tools=[finance_tool], system_instruction=SYSTEM_INSTRUCTION)
     return model
 model = get_model_and_tools()
 if st.session_state.chat_session is None:

 # --- 1. INITIAL CONFIGURATION & STATE INITIALIZATION ---
 load_dotenv()
+MODEL_NAME = os.getenv("GEMINI_MODEL", "gemini-2.5-flash")
 # Set page config consistent with other pages
 st.set_page_config(
     get_ts_func = glm.FunctionDeclaration(name="get_smart_time_series", description="Get price history data after knowing the official stock symbol.", parameters=glm.Schema(type=glm.Type.OBJECT, properties={'symbol': glm.Schema(type=glm.Type.STRING), 'time_period': glm.Schema(type=glm.Type.STRING, enum=["intraday", "1_week", "1_month", "6_months", "1_year"])}, required=['symbol', 'time_period']))
     currency_func = glm.FunctionDeclaration(name="perform_currency_conversion", description="Convert currency after knowing the 3-letter code of source/target currency pair, e.g., USD/VND, JPY/EUR", parameters=glm.Schema(type=glm.Type.OBJECT, properties={'amount': glm.Schema(type=glm.Type.NUMBER), 'symbol': glm.Schema(type=glm.Type.STRING)}, required=['amount', 'symbol']))
     finance_tool = glm.Tool(function_declarations=[find_stock_func, get_ts_func, currency_func])
+    model = genai.GenerativeModel(model_name=MODEL_NAME, tools=[finance_tool], system_instruction=SYSTEM_INSTRUCTION)
     return model
 model = get_model_and_tools()
 if st.session_state.chat_session is None:

requirements.txt CHANGED Viewed

@@ -16,8 +16,13 @@ click==8.2.1
 comm==0.2.3
 cssselect2==0.8.0
 decorator==5.2.1
 executing==2.2.0
 fonttools==4.59.0
 frozenlist==1.7.0
 gitdb==4.0.12
 GitPython==3.1.45
@@ -29,6 +34,7 @@ google-auth-httplib2==0.2.0
 google-genai==1.27.0
 google-generativeai==0.8.5
 googleapis-common-protos==1.70.0
 grpcio==1.74.0
 grpcio-status==1.71.2
 h11==0.16.0

 comm==0.2.3
 cssselect2==0.8.0
 decorator==5.2.1
+defusedxml==0.7.1
+distro==1.9.0
+dnspython==2.7.0
+email_validator==2.2.0
 executing==2.2.0
 fonttools==4.59.0
+fpdf==1.7.2
 frozenlist==1.7.0
 gitdb==4.0.12
 GitPython==3.1.45
 google-genai==1.27.0
 google-generativeai==0.8.5
 googleapis-common-protos==1.70.0
+groq==0.30.0
 grpcio==1.74.0
 grpcio-status==1.71.2
 h11==0.16.0

test.py ADDED Viewed

	@@ -0,0 +1,235 @@

+import os
+import smtplib
+import tempfile
+from email.mime.multipart import MIMEMultipart
+from email.mime.text import MIMEText
+from email.mime.application import MIMEApplication
+from dotenv import load_dotenv
+from markdown_it import MarkdownIt
+from datetime import datetime
+import weasyprint
+# Tải biến môi trường
+load_dotenv()
+# Thông tin email từ biến môi trường
+SENDER_EMAIL = os.getenv("SENDER_EMAIL")
+SENDER_APP_PASSWORD = os.getenv("SENDER_APP_PASSWORD")
+def _markdown_to_html(markdown_string):
+    """Chuyển đổi Markdown thành HTML"""
+    md = MarkdownIt()
+    html_content = md.render(markdown_string)
+    # Định dạng ngày hiện tại
+    current_date = datetime.now().strftime("%d/%m/%Y")
+    # Tạo HTML hoàn chỉnh với CSS để định dạng đẹp
+    full_html = f"""
+    <!DOCTYPE html>
+    <html>
+    <head>
+        <meta charset="UTF-8">
+        <meta name="viewport" content="width=device-width, initial-scale=1.0">
+        <title>Bản tin Thị trường Ngày {current_date}</title>
+        <style>
+            @page {{
+                size: A4;
+                margin: 2cm;
+            }}
+            body {{
+                font-family: Arial, Helvetica, sans-serif;
+                line-height: 1.5;
+                color: #333;
+                max-width: 800px;
+                margin: 0 auto;
+            }}
+            .report-header {{
+                text-align: center;
+                margin-bottom: 30px;
+            }}
+            .report-date {{
+                font-style: italic;
+                color: #666;
+                margin-bottom: 10px;
+            }}
+            .report-title {{
+                font-size: 24pt;
+                margin-bottom: 5px;
+                color: #2c3e50;
+            }}
+            .report-subtitle {{
+                font-size: 14pt;
+                color: #7f8c8d;
+                margin-top: 0;
+            }}
+            .report-body {{
+                text-align: justify;
+            }}
+            h1, h2, h3, h4, h5, h6 {{
+                color: #2c3e50;
+                margin-top: 20px;
+            }}
+            h1 {{ font-size: 20pt; }}
+            h2 {{ font-size: 18pt; }}
+            h3 {{ font-size: 16pt; }}
+            h4 {{ font-size: 14pt; }}
+            h5 {{ font-size: 12pt; }}
+            h6 {{ font-size: 10pt; }}
+            p {{
+                margin-bottom: 10px;
+            }}
+            a {{
+                color: #3498db;
+                text-decoration: none;
+            }}
+            a:hover {{
+                text-decoration: underline;
+            }}
+            ul, ol {{
+                margin: 10px 0 10px 20px;
+            }}
+            li {{
+                margin-bottom: 5px;
+            }}
+            blockquote {{
+                border-left: 4px solid #eee;
+                padding-left: 10px;
+                margin-left: 0;
+                color: #777;
+            }}
+            .section {{
+                margin-bottom: 30px;
+            }}
+            .footer {{
+                text-align: center;
+                margin-top: 40px;
+                padding-top: 20px;
+                font-size: 12px;
+                color: #777;
+                border-top: 1px solid #eee;
+            }}
+            /* Custom styling for bullet points */
+            ul {{
+                list-style-type: disc;
+            }}
+            ul ul {{
+                list-style-type: circle;
+            }}
+            ul ul ul {{
+                list-style-type: square;
+            }}
+        </style>
+    </head>
+    <body>
+        <div class="report-header">
+            <div class="report-date">Ngày: {current_date}</div>
+            <h1 class="report-title">Bản tin Thị trường</h1>
+            <h2 class="report-subtitle">AI Financial Dashboard</h2>
+        </div>
+        <div class="report-body">
+            {html_content}
+        </div>
+        <div class="footer">
+            Bản tin được tạo tự động bởi AI Financial Dashboard. Thông tin chỉ mang tính chất tham khảo.
+        </div>
+    </body>
+    </html>
+    """
+    return full_html
+def _generate_pdf_from_markdown(markdown_string):
+    """Tạo PDF từ Markdown sử dụng WeasyPrint"""
+    # Chuyển đổi markdown sang HTML
+    html_content = _markdown_to_html(markdown_string)
+    # Tạo file HTML tạm thời
+    with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as temp_html:
+        temp_html_path = temp_html.name
+        temp_html.write(html_content.encode('utf-8'))
+    # Tạo file PDF từ HTML
+    try:
+        # Tạo tên file PDF tạm thời
+        with tempfile.NamedTemporaryFile(suffix='.pdf', delete=False) as temp_pdf:
+            temp_pdf_path = temp_pdf.name
+        # Tạo PDF
+        weasyprint.HTML(filename=temp_html_path).write_pdf(temp_pdf_path)
+        # Đọc nội dung PDF
+        with open(temp_pdf_path, 'rb') as f:
+            pdf_data = f.read()
+        # Xóa các file tạm
+        os.unlink(temp_html_path)
+        os.unlink(temp_pdf_path)
+        return pdf_data
+    except Exception as e:
+        # Xử lý lỗi và đảm bảo xóa file tạm
+        if os.path.exists(temp_html_path):
+            os.unlink(temp_html_path)
+        raise e
+def send_report_via_email(report_markdown, recipient_email):
+    """Gửi báo cáo thị trường qua email"""
+    try:
+        # Tạo PDF từ markdown
+        pdf_data = _generate_pdf_from_markdown(report_markdown)
+        # Tạo message
+        message = MIMEMultipart()
+        message["From"] = SENDER_EMAIL
+        message["To"] = recipient_email
+        message["Subject"] = f"AI Financial Dashboard - Bản tin Thị trường {datetime.now().strftime('%d/%m/%Y')}"
+        # Thêm phần nội dung với encoding UTF-8
+        body = """
+        Kính gửi Quý khách,
+        Đính kèm là bản tin thị trường tài chính hôm nay, được tổng hợp tự động bởi AI Financial Dashboard.
+        Trân trọng,
+        AI Financial Dashboard Team
+        """
+        message.attach(MIMEText(body, "plain", "utf-8"))
+        # Đính kèm file PDF
+        attachment = MIMEApplication(pdf_data, _subtype="pdf")
+        attachment.add_header(
+            "Content-Disposition", "attachment",
+            filename=f"Market_Report_{datetime.now().strftime('%Y%m%d')}.pdf"
+        )
+        message.attach(attachment)
+        # Kết nối đến server SMTP và gửi email
+        with smtplib.SMTP_SSL("smtp.gmail.com", 465) as server:
+            server.login(SENDER_EMAIL, SENDER_APP_PASSWORD)
+            server.send_message(message)
+        return True, "Email đã được gửi thành công!"
+    except Exception as e:
+        return False, f"Lỗi khi gửi email: {str(e)}"
+if __name__ == "__main__":
+    report_markdown = """
+    # Bản tin Thị trường
+    ## Ngày 29/07/2025
+    - Cổ phiếu A tăng 10%
+    - Cổ phiếu B giảm 5%
+    """
+    send_report_via_email(report_markdown, "[email protected]")