Adatgyűjtés web scraping technikával

Előfordulhat, hogy szükségünk van nagyobb adatmennyiségre, amit kézzel összeszedni időrabló, reménytelen vállalkozás. Ha amúgy nyílt adatbázisban, valamilyen weboldalon elérhetőek a kívánt adatok, akkor össze is lehet őket gyűjteni. A nem direkt lekérdezős, weboldalon keresztüli módszert nevezik web scraping technikának. Én időjárási adatokat szerettem volna összeszedni, amit a Weather Underground oldalon meg lehet találni. Az oldalnak nagyszerű tulajdonsága, hogy bárki csatlakozhat hozzá, s visszamenőleg is meg lehet nézni a különböző értékeket akár évekre visszamenőleg is.