??????????????????????????????????????????????????????????????????????????????????????????????????????????Web????緢??? ????????????????????????????????????????????????????????????????????????????漼???????????????????????????????????????
????1994 ???????????????????????Web Crawler ?????? ???????е??????????а???Google??Yahoo??Info seek??Inktomi??Teoma??Live Search ??????????????????????????????????????Crawler ????????????????????????е?????????????????????????????????????????????????????????????仯?????????????????????????????????????????????????????????????????????????????????????????????????磬???????Ч????????????????????????????????о??????????????
????1?????????????
???????????水?乤?????????????????????楨???????????????????????????????
????1.1 ???????????
?????????????????????????????????棬????????????????????????????????????????????????????????У????????????????????????????????????????????????????????
???????????????????????????a?????????????????Indexer???????“???”??Spider???????“??????”??Robot???????????????????????????????????????е??á?b??????????????????????????????????????????
????1.2 ????????????????
????????????????治????????????????????????????????????????????????????????Щ??????????????Web ???????????????????б????????????????????????????????????????????????????????????????????????????????????С?????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????вο???????????????????????????????????????????????????????????????????????????
????1.3 ?????????
??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????ú????????????????????????????????????????????????????д???????????????????????????????????????????????????????????????????????????????е??????????????????????????????????Щ???????淵?????????????????????????????????????з??棬?е??????????????????????????е??????????????????????????
????2?????????漼??
????2.1 ???????????????
???????????????Spider????Crawler??robots??wanderer??????????????????????й???????????????????????????????http Э?飬????????????Web ????????????????????????????????????????????????????????httpЭ?????Web ?????????????????????檔
??????????????????????????????????????????????????????????????????????????????????????????????????????HTML ??????????????????Web ???????????????????????????????????????????????????????С?????????????????????????????HTML ??????????????????????????????????????URL ?????????????????????????????????????“????”?????????????????????????????????????????????
????2.2 ?????????????????
????1?????????????????
????????????????????????????????y??????????????????????????????????????Щ???????κγ????????HTML????????????HTML????У??????????????????????????HTML?????????????????????????????????????????????????????????????????????????????????????????HTML????????????????????????????????????????HTML??????????????HTML????е????????????????????????????????????????????????????????????????????????Web???????????????????????????Web???????п????????????????????????????????
????2?????????????????
?????????????????У????????????Web????????е???????????????????????????????????????磬???HTML ???????3???????????????????????????????HTML?????????????????HTML????е??κγ?????????????????????????????????????????HTML???????????????????????????????????????HTML?????????????????г????????????????????????????????HIML????????????????????????????????????????????????????????????????????????WWW?????????г??????????????????????????????????????????????????HTML???????????·????????????????????????????????????????????????????????????????????????????????????????????????????????HTML???????????????????????????????????????????????HTML?????
???????????????????????????????????????????????????????????????????????????????????????????????????????????Щ???????????????????HTML?????????????????????????????Щ????????????????????????????????????????
????3?????????????
???????????????в?????????????????????棬????“?????????”???з???????????Ч????????????????????棬????????????Web??????????????????????????????????????????????????????????÷????????????????С???????????????????????е??????????з???????У?????????????????????????Щ?п?????????????????檔??????????????????????????????????????????????????????????????????????????????????????????????????????“??????”??????????????????????????????????????????????У?????????н??????????????????????н????????????????????????????????????????????????????????????????????????У?????????????????????????????????檔