Playwright: تجميع البيانات من الويب واختبارها

# تثبيت حزمة Playwright
pip install playwright

# تثبيت المتصفحات (Chromium، Firefox، WebKit)
playwright install

# لتثبيت متصفح معين فقط
playwright install chromium

# باستخدام npm
npm init playwright@latest

# باستخدام yarn
yarn create playwright

# التثبيت اليدوي
npm install -D @playwright/test
npx playwright install

import { defineConfig, devices } from '@playwright/test';

export default defineConfig({
  testDir: './tests',
  timeout: 30000,
  retries: 2,
  workers: 4,
  use: {
    headless: true,
    viewport: { width: 1280, height: 720 },
    screenshot: 'only-on-failure',
    video: 'retain-on-failure',
  },
  projects: [
    {
      name: 'chromium',
      use: { ...devices['Desktop Chrome'] },
    },
    {
      name: 'firefox',
      use: { ...devices['Desktop Firefox'] },
    },
    {
      name: 'webkit',
      use: { ...devices['Desktop Safari'] },
    },
  ],
});

from playwright.sync_api import sync_playwright
import json

def scrape_website():
    with sync_playwright() as p:
        # تشغيل المتصفح
        browser = p.chromium.launch(headless=True)
        
        # إنشاء سياق للعزل
        context = browser.new_context(
            viewport={'width': 1920, 'height': 1080},
            user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
        )
        
        # فتح صفحة جديدة
        page = context.new_page()
        
        # الانتقال إلى عنوان URL
        page.goto('https://example.com/products')
        
        # الانتظار حتى تتم تحميل المحتوى
        page.wait_for_selector('.product-item')
        
        # استخراج البيانات
        products = page.query_selector_all('.product-item')
        
        data = []
        for product in products:
            title = product.query_selector('h2').inner_text()
            price = product.query_selector('.price').inner_text()
            url = product.query_selector('a').get_attribute('href')
            
            data.append({
                'title': title,
                'price': price,
                'url': url
            })
        
        # التنظيف
        browser.close()
        
        return data

# تشغيل مُجمِّع البيانات
results = scrape_website()
print(json.dumps(results, indent=2))

async def scrape_dynamic_content():
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()
        
        await page.goto('https://example.com/infinite-scroll')
        
        # التمرير لتحميل المزيد من المحتوى
        for _ in range(5):
            await page.evaluate('window.scrollTo(0, document.body.scrollHeight)')
            await page.wait_for_timeout(2000)
        
        # الانتظار حتى تصبح الشبكة خاملة
        await page.wait_for_load_state('networkidle')
        
        # استخراج جميع العناصر المحمّلة
        items = await page.query_selector_all('.item')
        
        await browser.close()

def login_and_save_session():
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)
        context = browser.new_context()
        page = context.new_page()
        
        # تسجيل الدخول
        page.goto('https://example.com/login')
        page.fill('input[name="username"]', 'your_username')
        page.fill('input[name="password"]', 'your_password')
        page.click('button[type="submit"]')
        
        # الانتظار حتى يتم التوجيه بعد تسجيل الدخول
        page.wait_for_url('**/dashboard')
        
        # حفظ الحالة المصادقة
        context.storage_state(path='auth_state.json')
        
        browser.close()

def scrape_with_saved_session():
    with sync_playwright() as p:
        browser = p.chromium.launch()
        # إعادة استخدام الحالة المصادقة المحفوظة
        context = browser.new_context(storage_state='auth_state.json')
        page = context.new_page()
        
        # مصادقة بالفعل!
        page.goto('https://example.com/protected-data')
        # ... استخراج المحتوى المحمي
        
        browser.close()

import { test, expect } from '@playwright/test';

test('يمكن للمستخدم إضافة عنصر إلى السلة', async ({ page }) => {
  // الانتقال إلى الصفحة الرئيسية
  await page.goto('https://example-shop.com');
  
  // البحث عن المنتج
  await page.fill('[data-testid="search-input"]', 'laptop');
  await page.press('[data-testid="search-input"]', 'Enter');
  
  // الانتظار حتى تظهر نتائج البحث
  await expect(page.locator('.product-card')).toBeVisible();
  
  // النقر على المنتج الأول
  await page.locator('.product-card').first().click();
  
  // التحقق من أن الصفحة تم تحميلها
  await expect(page).toHaveURL(/\/product\/.+/);
  
  // إضافة إلى السلة
  await page.click('[data-testid="add-to-cart"]');
  
  // التحقق من تحديث السلة
  const cartCount = page.locator('[data-testid="cart-count"]');
  await expect(cartCount).toHaveText('1');
});

// pages/LoginPage.ts
export class LoginPage {
  constructor(private page: Page) {}
  
  async navigate() {
    await this.page.goto('/login');
  }
  
  async login(username: string, password: string) {
    await this.page.fill('[name="username"]', username);
    await this.page.fill('[name="password"]', password);
    await this.page.click('button[type="submit"]');
  }
  
  async getErrorMessage() {
    return await this.page.locator('.error-message').textContent();
  }
}

// tests/login.spec.ts
import { test, expect } from '@playwright/test';
import { LoginPage } from '../pages/LoginPage';

test('تسجيل الدخول باستخدام بيانات غير صحيحة يعرض خطأ', async ({ page }) => {
  const loginPage = new LoginPage(page);
  await loginPage.navigate();
  await loginPage.login('invalid@email.com', 'wrongpass');
  
  const error = await loginPage.getErrorMessage();
  expect(error).toContain('بيانات الدخول غير صحيحة');
});

# فتح Codegen
playwright codegen example.com

# مع متصفح معين
playwright codegen --browser firefox example.com

# مع حالة المصادقة المحفوظة
playwright codegen --load-storage=auth.json example.com

// تفعيل التتبع في التكوين
use: {
  trace: 'on-first-retry',
}

playwright show-trace trace.zip

def test_with_mocked_api():
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()
        
        # محاكاة استجابة API
        def handle_route(route):
            if 'api/products' in route.request.url:
                route.fulfill(
                    status=200,
                    body=json.dumps({
                        'products': [
                            {'id': 1, 'name': 'منتج اختبار', 'price': 99.99}
                        ]
                    })
                )
            else:
                route.continue_()
        
        page.route('**/*', handle_route)
        
        page.goto('https://example.com')
        # الصفحة الآن تستخدم البيانات المُحاكاة
        
        browser.close()

from playwright.sync_api import sync_playwright

def test_mobile():
    with sync_playwright() as p:
        # استخدام وصف الأجهزة
        iphone_13 = p.devices['iPhone 13']
        
        browser = p.webkit.launch()
        context = browser.new_context(**iphone_13)
        page = context.new_page()
        
        page.goto('https://example.com')
        
        # التفاعل كمستخدم محمول
        page.locator('#mobile-menu-button').click()
        
        browser.close()

# تعطيل الموارد غير الضرورية
def fast_scraping():
    with sync_playwright() as p:
        browser = p.chromium.launch()
        context = browser.new_context()
        page = context.new_page()
        
        # حظر الصور والأنماط لتسريع جمع البيانات
        async def block_resources(route):
            if route.request.resource_type in ['image', 'stylesheet', 'font']:
                await route.abort()
            else:
                await route.continue_()
        
        page.route('**/*', block_resources)
        page.goto('https://example.com')
        
        browser.close()

# .github/workflows/playwright.yml
name: اختبارات Playwright
on:
  push:
    branches: [ main, master ]
  pull_request:
    branches: [ main, master ]
jobs:
  test:
    timeout-minutes: 60
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v3
    - uses: actions/setup-node@v3
      with:
        node-version: 18
    - name: تثبيت الاعتمادات
      run: npm ci
    - name: تثبيت متصفحات Playwright
      run: npx playwright install --with-deps
    - name: تشغيل اختبارات Playwright
      run: npx playwright test
    - uses: actions/upload-artifact@v3
      if: always()
      with:
        name: تقرير Playwright
        path: تقرير Playwright/
        retention-days: 30

import schedule
import time

def monitor_website():
    with sync_playwright() as p:
        try:
            browser = p.chromium.launch()
            page = browser.new_page()
            page.goto('https://your-site.com', timeout=30000)
            
            # التحقق من العناصر الأساسية
            assert page.is_visible('.header')
            assert page.is_visible('#main-content')
            
            print("✓ الموقع بصحة جيدة")
        except Exception as e:
            print(f"✗ تم اكتشاف مشكلة في الموقع: {e}")
            # إرسال تنبيه
        finally:
            browser.close()

# تكرار كل 5 دقائق
schedule.every(5).minutes.do(monitor_website)

while True:
    schedule.run_pending()
    time.sleep(1)

# تعيين موقع تنزيل مخصص
PLAYWRIGHT_BROWSERS_PATH=/custom/path playwright install

# مسح التخزين المؤقت وإعادة التثبيت
playwright uninstall
playwright install

page.goto('https://slow-site.com', timeout=60000)  # 60 ثانية
page.wait_for_selector('.element', timeout=30000)  # 30 ثانية

PWDEBUG=1 pytest test_file.py