Quản lý code Web Crawler

Mình hay phải viết script cho Web Crawler, Scraping bằng Python và BeautifulSoup mà đang gặp chút khó khăn trong việc quản lý code nên mình muốn hỏi xem mọi người đang làm thế nào để tham khảo ạ. Tính năng mình đang làm thì là để scrape thông tin chứng khoán từ nhiều website. Flow chính của code là kiểu main -> crawl pages -> crawl page, và trong phần crawl page lại có crawler class cho từng website như website A crawler, website B crawler, website C crawler. Với bản chất của crawler phụ thuộc vào ui của nhiều website khác như vậy thì mọi người quản lý code như thế nào vậy ạ? UI của mỗi website lại khác nhau thì mọi người quản lý crawling code riêng cho từng website ạ? Hay ví dụ kiểu nếu có website thay đổi UI thì các bác có cập nhật crawler code liên tục theo thay đổi của từng website không?

Cài python trong vscode thì bị lỗi

Hi mọi người, e đang định dùng thử vscode nhưng khi cài python thì nó hiện lỗi và không cài đặt được. E thử tìm trên google và trang của microsoft rồi mà không thấy kết quả, cũng không biết nên hỏi ở đâu nên mới lên đây hỏi mong mọi người xem giúp e với ạ! Em để error log ở dưới đây ạ. 2023-04-13 09:37:18.575 [error] Error: Untrusted,Untrusted,Untrusted at vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:89578 at Array.reduce (<anonymous>) at E (vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:89564) at ne.D (vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:80916) at async ne.z (vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:78417) at async ne.installFromGallery (vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:74855) 2023-04-13 09:37:18.599 [error] Untrusted,Untrusted,Untrusted: Error: Untrusted,Untrusted,Untrusted at vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:89578 at Array.reduce (<anonymous>) at E (vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:89564) at ne.D (vscode-file://vscode-app/c:/Users/user/AppData/Local/Programs/Microsoft%20VS%20Code/resources/app/out/vs/code/electron-browser/sharedProcess/sharedProcessMain.js:88:80916)

Về code pytorch

Chào mọi người, mình mới học pytorch muốn hỏi cái này chút. m = nn.Linear(20, 30) input = torch.randn(128, 20) output = m(input) print(output.size()) torch.Size([128, 30]) Đây là code của mình. m là instance được tạo bằng linear class. Mình muốn hỏi về việc dùng hàm số như kiểu m(input) ở dưới có được không nhỉ. Mình thấy có vẻ nó liên quan đến python callable mà không rõ lắm có thể dùng hàm số bằng cách làm nó được kế thừa nn.Module class không...? Mình có đọc docs của pytorch rồi mà không hiểu lắm nên mới lên đấy hỏi, mong mọi người giải đáp giúp mình ạ.

Python selenium - Web Crawling

MN cho em hỏi chút. Em đang dùng selenium để crawl web nhưng càng dùng thì tốc độ ở một số phần càng chậm. Mọi người biết cách nào crawl web hiệu quả hơn không ạ..? Cảm ơn MN.

.get() vs .filter() trong Django khác nhau thế nào

Em đang làm dự án cá nhân bằng Django và có thắc mắc về Django ORM, mong các bác chỉ giúp. Em đang không hiểu lắm về khác biệt giữa .get() và .filter() ấy. Cùng trong trường hợp không có object đúng với điều kiện, nhưng nếu dùng .filter() thì sẽ trả về QuerySet trống, còn nếu dùng .get() thì lại hiện lỗi không có object. Tại sao lại như vậy thế ạ? # Lỗi Object does not exist get_owner = User.objects.get(username='Django Nguyen') # QuerySet trống filter_owner = User.objects.filter(username='Django Nguyen')

Phân vân giữa Python và C

Hiện tại em đang tự học để có thể xây dựng game riêng cho bản thân. Em đang học Discrete mathematics và song song đó đang học thêm ngôn ngữ lập trình Hiện tại thì em đang học C, nhưng bạn em nói là Python có vẻ ổn hơn Sau này khi build game thì em được biết phải dùng unity C++ cho Unreal engine thì phải dùng C# Em nghĩ là học C thì sẽ giúp ích cho việc học C# hơn, nhưng cũng hơi phân vân do bạn em nói vậy. Ko biết ý kiến của các anh chị trong ngành thì sao ạ?