รีวิว Scrapling — เฟรมเวิร์กดึงข้อมูลเว็บด้วย Python ครบตั้งแต่หน้าเดียวจนทั้งเว็บ พร้อม MCP ให้ AI
ข้อมูล Repo
D4Vinci/Scrapling- ภาษา
- Python
- ดาว
- 92,826
- สร้างเมื่อ
- แก้ไขล่าสุด
เปลี่ยนสถานะผ่าน API: PATCH /api/reports/54b15fea-a22b-4b26-9528-126136ff5141
แคปชันสำหรับ Facebook
อยากดึงข้อมูลจากเว็บมาใช้กับ AI หรือทำ RAG แต่เบื่อเขียน scraper ใหม่ทุกครั้งที่เว็บเปลี่ยนหน้าตา? ลองดู Scrapling ครับ 🕷️ Scrapling เป็นเฟรมเวิร์ก web scraping ภาษา Python ที่รวมทุกขั้นไว้ในไลบรารีเดียว ✅ มีทั้ง HTTP request แบบเร็ว และเบราว์เซอร์สำหรับเว็บที่ต้องรัน JavaScript ✅ เลือกข้อมูลด้วย CSS, XPath, ข้อความ หรือ regex และตามหา element เดิมได้แม้เว็บเปลี่ยนโครงสร้าง ✅ สร้าง spider ดึงหลายหน้าพร้อมกัน หยุดแล้วทำต่อได้ export เป็น JSON, CSV หรือ XML ✅ แปลงหน้าเว็บเป็น Markdown สะอาดๆ ด้วย page.markdown() เอาไปทำ RAG ได้เลย ✅ มี MCP server และ Agent Skill ให้ Claude หรือ Cursor ดึงข้อมูลเว็บผ่าน Scrapling เริ่มได้ด้วย pip install "scrapling[fetchers]" แล้วรัน scrapling install เหมาะกับสาย data, คนทำ AI ที่ต้องใช้ข้อมูลจากเว็บ และคนที่เคยใช้ Scrapy หรือ BeautifulSoup ข้อควรรู้: ต้องใช้ Python 3.10 ขึ้นไป README ระบุว่าทำมาเพื่อการศึกษาและวิจัย ผู้ใช้ต้องทำตามกฎหมายเรื่องข้อมูลและความเป็นส่วนตัว และเคารพ robots.txt กับเงื่อนไขของเว็บที่ดึงข้อมูล ใช้ BSD-3-Clause 🔗 https://github.com/D4Vinci/Scrapling #WebScraping #Python #MCP #RAG
ภาพปกแบบ HTML สด
แสดงจาก HTML ต้นฉบับที่ใช้สร้างภาพ ดาวน์โหลดเป็น PNG 1080×1350 ได้ทันที
สไตล์ Easy AI
1080×1350แก้ไข 2026-11-03
สไตล์ easy-app
1080×1350แก้ไข 2026-11-03
สรุป
Scrapling เป็นเฟรมเวิร์ก web scraping ภาษา Python ที่รวม HTTP request แบบเร็ว เบราว์เซอร์แบบ stealth การ parse ด้วย CSS และ XPath และ spider สำหรับ crawl หลายหน้าพร้อมกันไว้ในไลบรารีเดียว ตามหา element ได้แม้เว็บเปลี่ยนโครงสร้าง แปลงหน้าเว็บเป็น Markdown สำหรับ RAG ได้ มี MCP server และ Agent Skill ให้ AI agent ใช้ ต้องใช้ Python 3.10 ขึ้นไป ใช้ BSD-3-Clause
คืออะไร
Scrapling คือ Python Web Scraping framework ที่รวมงานอย่างเช่น fast HTTP requests, stealth browsers, powerful parsing และ concurrent crawling ไว้ในไลบรารีเดียว ใช้ได้ทั้งจาก Python, terminal หรือจาก AI agent ผ่าน MCP server และ Agent Skill
ทีมผู้พัฒนาเขียนไว้เองว่ารองรับตั้งแต่ "scrape static pages, render JavaScript, interact with websites, and extract data from the API calls behind them" ไปจนถึงสแกนทั้งเว็บไซต์แล้วได้ข้อมูลเป็น Markdown ที่สะอาด
ข้อมูล GitHub ณ 3 พ.ย. 2026: ⭐ 92.8k ดาว, fork ราว 9.8k, เขียนด้วย Python
จุดเด่น
- ✅ Fetch & interact: HTTP requests แบบเร็ว, stealth browser, JavaScript rendering, จัดการ Cloudflare Turnstile/Interstitial, persistent sessions และ background API capture
- ✅ Parse & extract: เลือก element ด้วย CSS และ XPath, ค้นหาด้วย text และ regex, adaptive element tracking, similar-element matching และ export เป็น Markdown ที่สะอาด
- ✅ Crawl & export: สร้าง spider คู่ขนานแบบ configurable concurrency, proxy rotation, retries, AutoThrottle, pause/resume, streaming mode และ export JSON/JSONL/CSV/XML
- ✅ ใช้กับ AI ได้: มี MCP server สำหรับ AI agent ใช้ browse และ extract ข้อมูล, Agent Skill, CLI commands และ interactive shell
- ✅ Spider API แบบ Scrapy-like: กด Ctrl+C หยุด gracefully แล้ว restart ต่อด้วย crawldir เดิมได้ รองรับ multi-session ทั้ง HTTP และ headless browser ใน spider เดียว
- ✅ มี Docker image และไฟล์ README แปลหลายภาษา (อาหรับ สเปน ฝรั่งเศส เยอรมัน จีน ญี่ปุ่น เกาหลี รัสเซีย ฯลฯ) พร้อม Docs ที่ scrapling.readthedocs.io
เหมาะกับใคร
- คนที่ทำ data extraction หรือเก็บข้อมูลจากเว็บด้วย Python และอยากได้เครื่องมือครบในตัวเดียว
- คนที่เจอปัญหาเว็บมี JavaScript หนัก หรือมี bot protection อย่าง Cloudflare Turnstile
- คนที่อยากให้ AI agent เดินเก็บข้อมูลเองผ่าน MCP หรือ Agent Skill
- คนที่ทำ crawler ขนาดใหญ่ ต้องการ pause/resume, proxy rotation และ export หลายฟอร์แมต
เริ่มต้นใช้งาน
ตัวอย่างเพียงหน้าเดียวจาก README:
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)
อยากขยายเป็น spider เต็มรูปแบบก็เขียนแบบนี้ (ตัวอย่างตรงจาก README):
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {
"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get(),
}
result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")
การติดตั้ง (ต้องใช้ Python 3.10 ขึ้นไป) ตัว pip install scrapling เปล่าๆ มีแค่ parser ถ้าจะใช้ fetcher หรือ spider อย่างในตัวอย่างข้างบน ต้องติดตั้งส่วนเสริมและเบราว์เซอร์ก่อน:
pip install "scrapling[fetchers]"
scrapling install
ถ้าจะใช้ MCP server ให้ติดตั้ง pip install "scrapling[ai]" และถ้าอยากใช้ shell กับคำสั่ง extract จาก terminal ให้ติดตั้ง pip install "scrapling[shell]" รายละเอียดเพิ่มเติมอยู่ใน docs ที่ scrapling.readthedocs.io
ข้อควรรู้
- License: BSD-3-Clause (BSD 3-Clause "New" or "Revised" License) ใช้ได้ทั้งงานส่วนตัวและเชิงพาณิชย์ภายใต้เงื่อนไข BSD ปกติ แต่ควรอ่านไฟล์ License ใน repo อีกรอบก่อนเอาไปลงในผลิตภัณฑ์
- ความสดใหม่: push ล่าสุด 3 พ.ย. 2026 นับว่ามีการดูแลต่อเนื่อง โปรเจกต์สร้างเมื่อ 13 ต.ค. 2024 อายุราว 2 ปี
- open issues ณ 3 พ.ย. 2026 มีเพียง 9 อัน ซึ่งนับว่าน้อยมากเมื่อเทียบขนาดชุมชน
- โปรเจกต์นี้มี sponsors จากบริษัท proxy และ anti-bot หลายเจ้า เงื่อนไขบางอย่างในระดับ enterprise ที่ระบุไว้ใน README ต้องใช้บริการภายนอกเพิ่ม ส่วนไลบรารีเองยังเป็น open source ตาม BSD-3-Clause
- ⚠️ หัวข้อ Disclaimer ใน README ระบุว่าไลบรารีนี้ทำมาเพื่อการศึกษาและวิจัย ผู้ใช้ต้องทำตามกฎหมายเรื่องการดึงข้อมูลและความเป็นส่วนตัว และต้องเคารพ terms of service ของเว็บกับไฟล์ robots.txt เสมอ
🔗 https://github.com/D4Vinci/Scrapling
ข้อมูลจาก GitHub ณ 3 พ.ย. 2026: ⭐ 92,826 | ภาษา Python | license BSD-3-Clause