İhtiyaç
Büyük hacimli veri toplama işleri sistemi kilitliyordu; güvenilir, ölçeklenebilir bir yapı yoktu.
Yaptıklarımız
Scraping işleri bir iş kuyruğuna alındı; sonuçlar REST API üzerinden dayanıklı ve ölçeklenebilir biçimde sunuldu.
Sonuç
Toplama işleri sıraya girip güvenle çalışıyor; sistem yavaşlamadan büyük veri işleniyor.
Teknolojiler
- REST API
- BullMQ
- Redis
- PostgreSQL
Kullanılan hizmetler
