Cách cạo Reddit bằng Python

Có năm cách để cạo Reddit, và đó là:

Cạo thủ công - Đây là phương pháp dễ nhất nhưng kém hiệu quả nhất về tốc độ và chi phí. Tuy nhiên, nó mang lại dữ liệu với tính nhất quán cao.
Sử dụng API Reddit - Bạn cần các kỹ năng mã hóa cơ bản để quét Reddit bằng API Reddit. Nó cung cấp dữ liệu nhưng giới hạn số lượng bài đăng trong bất kỳ chủ đề Reddit nào ở mức 1000.
API của bên thứ ba bọc đường - Đây là một cách tiếp cận hiệu quả và có thể mở rộng, nhưng nó không tiết kiệm chi phí.
Công cụ quét web - Những công cụ này có thể mở rộng và chỉ yêu cầu bí quyết cơ bản là sử dụng chuột.
Các tập lệnh cạo tùy chỉnh - Chúng có khả năng tùy biến và mở rộng cao nhưng yêu cầu tầm cỡ lập trình cao.

Hãy xem cách chúng ta có thể quét Reddit bằng API Reddit với sự trợ giúp của các bước sau.

Tạo tài khoản Reddit API

Bạn cần tạo một tài khoản Reddit trước khi tiếp tục. Để sử dụng PRAW, bạn phải đăng ký API Reddit bằng cách nhấp vào liên kết này .

Nhập gói và mô-đun

Đầu tiên, chúng tôi sẽ nhập các mô-đun tích hợp sẵn của Pandas, tức là ngày giờ và hai mô-đun của bên thứ ba, PRAW và Pandas, như hình dưới đây:

nhập khẩu nguyên liệu
Nhập khẩu gấu trúc dưới dạng PD
Nhập datetime dưới dạng DT

Tải các phiên bản Reddit và subreddit

Bạn có thể truy cập dữ liệu Reddit bằng Praw, viết tắt của Python Reddit API Wrapper. Đầu tiên, bạn cần kết nối với Reddit bằng cách gọi tôm. Reddit hàm và lưu trữ nó trong một biến. Sau đó, bạn phải truyền các đối số sau vào hàm.

Reddit = tôm. Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
                     client_secret='SECRET_KEY_27_CHARS ', \
                     user_agent='YOUR_APP_NAME', \
                     username='YOUR_REDDIT_USER_NAME', \
                     mật khẩu = 'YOUR_REDDIT_LOGIN_PASSWORD')

Bây giờ, bạn có thể nhận được subreddit của sự lựa chọn của bạn. Vì vậy, hãy gọi phiên bản .subreddit từ reddit (biến) và chuyển tên của subreddit bạn muốn truy cập. Ví dụ: bạn có thể sử dụng subreddit r / Nootropics.

subreddit = reddit.subreddit ('Nootropics')

Truy cập các chủ đề

Mỗi subreddit có năm cách khác nhau dưới đây để tổ chức các chủ đề được tạo bởi Redditors:

.mới
.nóng
.Tranh cãi
.Gilded
.đỉnh

Bạn có thể lấy các chủ đề được bình chọn nhiều nhất như:

top_subreddit = subreddit.top()

Bạn sẽ nhận được một đối tượng giống như danh sách có 100 bài nộp hàng đầu trong r / Nootropics. Tuy nhiên, giới hạn yêu cầu của Reddit là 1000, vì vậy bạn có thể kiểm soát kích thước mẫu bằng cách chuyển giới hạn đến .top như:

top_subreddit = subreddit.top(giới hạn = 600)

Phân tích cú pháp và tải xuống dữ liệu

Bạn có thể cạo bất kỳ dữ liệu nào bạn muốn. Tuy nhiên, chúng tôi sẽ thu thập thông tin dưới đây về các chủ đề:

Id
tiêu đề
điểm
Ngày tạo
nội dung văn bản

Chúng tôi sẽ làm điều này bằng cách lưu trữ dữ liệu của chúng tôi trong một từ điển và sau đó sử dụng một vòng lặp for như hình dưới đây.

topics_dict = { "title":[], \
                "score":[], \
                "id":[], "url":[], \
                "created": [], \
                "body":[]}

Bây giờ, chúng ta có thể cạo dữ liệu từ API Reddit. Chúng tôi sẽ thêm thông tin vào từ điển của chúng tôi bằng cách lặp qua đối tượng top_subreddit của chúng tôi.

Đối với bài dự thi top_subreddit :
    topics_dict["id"].append(submission.id)
    topics_dict["title"].append(submission.title)
    topics_dict["score"].append(submission.score)
    topics_dict["created"].append(submission.created)
    topics_dict["body"].append(submission.selftext)

Bây giờ, chúng tôi đưa dữ liệu của mình vào Pandas Dataframes vì từ điển Python không dễ đọc.

topics_data = PD. Khung dữ liệu(topics_dict)

Xuất CSV

Rất dễ dàng để tạo các tệp dữ liệu ở nhiều định dạng khác nhau trong Pandas, vì vậy chúng tôi sử dụng các dòng mã sau để xuất dữ liệu của mình sang tệp CSV.

topics_data.to_csv('FILENAME.csv', index=False)

Proxy Reddit tốt nhất năm 2021

Bạn biết rằng Reddit không phải là một trang web nghiêm ngặt khi nói đến các hạn chế sử dụng proxy. Nhưng bạn có thể bị bắt và bị phạt nếu bạn tự động hóa hành động của mình trên Reddit mà không sử dụng proxy.

Vì vậy, hãy xem xét một số proxy tốt nhất cho Reddit thuộc hai loại:

Proxy dân cư - Đây là những địa chỉ IP mà Nhà cung cấp dịch vụ Internet (ISP) gán cho một thiết bị ở một vị trí thực tế cụ thể. Các proxy này tiết lộ vị trí thực tế của thiết bị mà người dùng sử dụng để đăng nhập vào một trang web.

Proxy trung tâm dữ liệu - Đây là những địa chỉ IP khác nhau không bắt nguồn từ bất kỳ Nhà cung cấp dịch vụ Internet nào. Chúng tôi mua chúng từ một nhà cung cấp dịch vụ đám mây.

Sau đây là một số proxy dân cư và trung tâm dữ liệu hàng đầu cho Reddit.

Proxy thông minh

Smartproxy là một trong những nhà cung cấp proxy dân cư cao cấp hàng đầu vì nó có hiệu quả cho tự động hóa Reddit. Nó có một nhóm IP rộng lớn và cung cấp quyền truy cập vào tất cả các IP khi bạn đăng ký dịch vụ của nó.

Bão tố

Giá cả và băng thông không giới hạn của Stormproxy khiến chúng trở thành một lựa chọn tốt. Chúng có giá cả phải chăng và giá rẻ để sử dụng. Họ có proxy cho các trường hợp sử dụng khác nhau và cung cấp proxy dân cư tốt nhất để tự động hóa Reddit.

ProxyScrape

ProxyScrape là một trong những nhà cung cấp dịch vụ proxy phổ biến tập trung vào việc cung cấp proxy để cạo. Nó cũng cung cấp proxy trung tâm dữ liệu chuyên dụng cùng với các proxy trung tâm dữ liệu được chia sẻ. Nó có hơn 40k proxy trung tâm dữ liệu mà bạn có thể sử dụng để thu thập dữ liệu từ các trang web trên Internet.

ProxyScrape cung cấp ba loại dịch vụ cho người dùng, tức là,

Proxy trung tâm dữ liệu cao cấp

Proxy dân cư

Proxy chuyên dụng

Proxy cao

Highproxy hoạt động với Reddit và có các loại proxy sau:

Proxy được chia sẻ
Proxy riêng
Các trang web được phân loại proxy
Proxy tạo yêu cầu
Proxy truyền thông

Instantproxy

Bạn cũng có thể sử dụng Instantproxy để tự động hóa Reddit vì chúng rất an toàn, đáng tin cậy, nhanh chóng và có thời gian hoạt động khoảng 99,9%. Chúng là rẻ nhất trong tất cả các proxy trung tâm dữ liệu.

Tại sao nên sử dụng proxy Reddit?

Bạn cần proxy khi bạn đang làm việc với một số công cụ tự động trên Reddit. Đó là bởi vì Reddit là một trang web rất nhạy cảm, dễ dàng phát hiện các hành động tự động và chặn IP của bạn truy cập vào nền tảng. Vì vậy, nếu bạn đang tự động hóa một số tác vụ như phiếu bầu, bài đăng, tham gia / hủy tham gia nhóm và quản lý nhiều tài khoản, bạn chắc chắn cần sử dụng proxy để tránh kết quả xấu.

Các giải pháp thay thế cho Scrape Reddit

Bạn có thể cạo thủ công nếu yêu cầu cạo Reddit của bạn nhỏ. Nhưng nếu các yêu cầu trở nên lớn, bạn phải tận dụng các phương pháp cạo tự động như công cụ quét web và tập lệnh tùy chỉnh. Các trình quét web chứng minh là hiệu quả về chi phí và tài nguyên khi yêu cầu cạo hàng ngày của bạn nằm trong vòng vài triệu bài đăng.

Vì vậy, hãy xem xét một số công cụ quét Reddit tốt nhất là giải pháp tốt nhất để thu thập một lượng lớn dữ liệu Reddit.

Phế liệu

Scrapestorm là một trong những công cụ cạo tốt nhất hiện có trên thị trường vì nó hoạt động khá tuyệt vời khi cạo Reddit. Nó sử dụng trí tuệ nhân tạo để tự động xác định các điểm dữ liệu chính trên trang web.

Công cụ cạo Reddit của Apify

Trình quét Reddit của Apify giúp bạn dễ dàng trích xuất dữ liệu mà không cần sử dụng API Reddit. Điều đó có nghĩa là bạn không cần mã thông báo API dành cho nhà phát triển và ủy quyền từ Reddit để tải xuống dữ liệu cho mục đích thương mại. Bạn cũng có thể tối ưu hóa việc cạo của mình bằng cách sử dụng dịch vụ proxy tích hợp của nền tảng Apify.

Kết thúc

Chúng tôi đã thảo luận về năm cách để thu thập dữ liệu Reddit và cách dễ nhất là sử dụng API Reddit vì nó chỉ yêu cầu các kỹ năng mã hóa cơ bản. PRAW là một trình bao bọc Python cho API Reddit cho phép bạn sử dụng API Reddit với giao diện Python sạch sẽ. Nhưng khi bạn có yêu cầu cạo Reddit lớn, bạn có thể trích xuất dữ liệu có sẵn công khai từ trang web Reddit với sự trợ giúp của các trình quét Reddit. Để tự động hóa các hành động của bạn trên trang web Reddit, bạn cần sử dụng trung tâm dữ liệu hoặc proxy dân cư.

Bằng cách: ProxyScrape

Cách cạo Reddit bằng Python

Mục lục

Tại sao bạn cần phải Scrape Reddit?

Những thách thức của việc cạo Reddit