import requests  # HTTPリクエストを送信するライブラリ
from bs4 import BeautifulSoup  # HTMLを解析するライブラリ
import concurrent.futures  # 並列処理用スレッドプール
import pandas as pd  # データフレーム操作用ライブラリ
import time  # 処理時間計測とウェイト挿入用
import urllib.parse as up  # URL解析用
import random  # ランダムウェイト用
import re  # 正規表現

# ─────────────────────────────────
# 設定: 入力URLリスト、出力CSVファイル名、対象ドメイン
DETAIL_URLS_FILE = "<入力URLリスト>.txt"
CSV_OUTPUT_FILE = "<出力ファイル名>.csv"
BASE_DOMAIN = "<対象ドメイン>"  # 例: example.com
# ─────────────────────────────────

# ブラウザ風User-Agentヘッダー
HEADERS = {"User-Agent": "Mozilla/5.0"}


def fetch_info(detail_url: str) -> dict:
    """
    商品詳細URLからレビュー一覧URLを生成し、以下の情報を取得して返却します:
      - original_url : 入力された詳細ページのURL
      - title        : 商品タイトル
      - category     : カテゴリ名
      - category_id  : カテゴリID
      - price_min    : 最安価格（整数）
      - avg_rating   : 平均星評価（小数）
      - review_count : 総レビュー件数（整数）
      - status       : HTTPステータスコード
      - elapsed      : リクエストにかかった時間（秒）
    """
    result = {
        "original_url": detail_url,
        "title": "",
        "category": "",
        "category_id": "",
        "price_min": None,
        "avg_rating": None,
        "review_count": None,
        "status": None,
        "elapsed": None,
    }

    # detail_urlからファイル名部分だけを抽出
    path = up.urlparse(detail_url).path
    filename = path.rsplit('/', 1)[-1]

    # レビュー一覧ページのURLを組み立て
    review_url = (
        f"https://{BASE_DOMAIN}/reviews/page:100/lmt:100/purl:{filename}"
    )

    try:
        # リクエスト開始時刻
        start = time.time()
        resp = requests.get(review_url, headers=HEADERS, timeout=10)
        result['elapsed'] = time.time() - start
        result['status'] = resp.status_code
        resp.raise_for_status()

        soup = BeautifulSoup(resp.text, 'html.parser')

        # 商品タイトルを取得
        if h2 := soup.select_one('h2.review-title'):
            result['title'] = h2.get_text(strip=True)

        # パンくずリストからカテゴリ名とIDを取得
        crumbs = soup.select('ul.breadcrumbs-list li a.breadcrumb-anchor')
        if len(crumbs) >= 2:
            cat = crumbs[1]
            result['category'] = cat.get_text(strip=True)
            params = dict(up.parse_qsl(up.urlparse(cat['href']).query))
            result['category_id'] = params.get('cid', '')

        # 最安価格を取得（例: "1,234円～" を数値化）
        if price_tag := soup.select_one('.lowest-price-review__value'):
            text = price_tag.get_text(strip=True).replace('円～', '').replace(',', '')
            if text.isdigit():
                result['price_min'] = int(text)

        # 平均星評価を取得（imgタグのalt属性）
        if star := soup.select_one('img.star[alt]'):
            try:
                result['avg_rating'] = float(star['alt'])
            except ValueError:
                pass

        # ページネーション表示から総レビュー件数を取得
        if pager := soup.select_one('div.paging'):
            text = pager.get_text(strip=True)
            m = re.search(r"(\d+)\s*-\s*(\d+)件目", text)
            if m:
                result['review_count'] = int(m.group(2))

        # 上記取得に失敗した場合は itemprop='reviewCount' から取得
        if result['review_count'] is None:
            if rc := soup.select_one("span[itemprop='reviewCount']"):
                try:
                    result['review_count'] = int(rc.get_text(strip=True))
                except ValueError:
                    pass

    except Exception:
        # エラー時は初期状態のまま返却
        pass

    # サーバー負荷軽減のためランダムウェイト
    time.sleep(random.uniform(0.3, 1.0))
    return result


def main():
    """
    URLリストをfetch_infoで処理し、結果をCSVに出力します。
    """
    # URLリストを読み込み
    with open(DETAIL_URLS_FILE, encoding='utf-8') as f:
        urls = [line.strip() for line in f if line.strip()]

    # 並列処理で情報収集
    results = []
    with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
        for info in executor.map(fetch_info, urls):
            results.append(info)

    # 結果をDataFrame化し、review_countで降順ソート
    df = pd.DataFrame(results)
    df = df.sort_values('review_count', ascending=False).reset_index(drop=True)

    # CSVファイルとして保存
    df.to_csv(
        CSV_OUTPUT_FILE,
        index=False,
        encoding='utf-8-sig',
        columns=[
            'original_url', 'title', 'category', 'category_id',
            'price_min', 'avg_rating', 'review_count', 'status', 'elapsed'
        ]
    )
    print(f"完了: {CSV_OUTPUT_FILE} に {len(df)} 件を出力しました。")


if __name__ == '__main__':
    main()