Co to jest agregator danych, oraz na co powinniśmy zwrócić uwagę tworząc portal tego typu?
Co to jest portal typu agregator danych?
Jest to portal który zbiera dane z różnych źródeł. Najczęściej portal tego typu wymaga działa w konkretnej branży. Są to projekty które np. zbierają dane z portalu z ogłoszeniami nieruchomości, z ogłoszeń motoryzacyjnych czy z ofertami pracy.
Platforma tego typu zbudowana jest tak że w tle działa specjalne oprogramowanie, które "odwiedza" inne strony i pobiera z nich dane, te dane zapisuje w swojej bazie.
Na co powinniśmy zwracać uwagę tworząc portal zbierający dane z innych miejsc w sieci?
- na to w jaki sposób pobierać będziemy lub możemy dane z zewnętrznych źródeł. Czy musimy "udawać" użytkownika przeglądającego stronę, czy portal z źródłem informacji udostępnia jakiś mechanizm do dzielenia się danymi,
- jeśli musimy pobierać dane mechanizmem mniej oficjalnym musimy się liczyć z tym że źródło może się stale zmieniać - to wymusza posiadanie stałej ekipy technicznej, która stale będzie doglądać oprogramowanie, zmieniać i aktualizować oraz pracować nad szybkością działania,
- jeśli portal ze źródłem nie daje oficjalnej metody do pobierania danych - zapytaj o pozwolenie, nie są to twoje dane,
- jeśli zaczniesz gromadzić dużą ilość informacji pamiętaj o optymalnym ich przechowywaniu,
- przy dużym ruchu w Twojej platformie, jeśli masz dużą ilość danych, warto od razu taki projekt budować na bardzo solidnych rozwiązaniach serwerowych - warto zastanowić się nad budową tego w chmurze.
Zastanawiasz się nad tworzeniem portalu tego typu? Zapraszam do kontaktu.
Data publikacji: 25 maj 2020 rok, czas aktualizacji: 2020.06.20, rodzaj publikacji: "Częste pytanie".
