Pemanfaatan Web Crawler Dalam Mengumpulkan Informasi Melalui Internet

Iksan Ramadhan(1), Husni Sastramihardja(2*)

(1) 
(2) 
(*) Corresponding Author

Abstract


Informasi merupakan data yang sangat penting dan diperlukan dalam berbagai kebutuhan. Informasi tidak hanya berasal dari lisan seseorang, tetapi dapat berasal dari tulisan yang dipublikasikan pada internet, baik itu di media sosial seperti facebook dan twitter, atau pada berita online. Sebagian besar data pada internet adalah informasi yang terus bertambah setiap harinya. Dalam mengumpulkan informasi tersebut, dibutuhkan program komputer yang disebut dengan web crawler untuk mengumpulkan berbagai macam informasi yang ada pada internet. Web crawler adalah program komputer atau perangkat lunak yang menjelajahi halaman-halaman internet dengan otomatis sesuai dengan kata kunci yang dimasukkan. Informasi yang sesuai dan tepat akan dengan mudah dikumpulkan dengan memanfaatkan web crawler sehingga dapat memudahkan dalam pengumpulan informasi. Penelitian awal ini memberikan usulan yang dapat digunakan sebagai bahan untuk menyusun strategi bisnis dengan memanfaatkan web crawler, menampilkan hasil analisis dalam bentuk excel dan chart, serta memberikan hasil berupa desain user interface dari program.

Full Text:

PDF

References


Turban, E., Rainer, R. Kelly, Potter, Richard E., Introduction to Information Technology. 2006.

Sambanthan2, S.S.D.a.K.T., WEB CRAWLER - AN OVERVIEW. 2011. 2: p. 265-267.

Qiusheng Zhang, M.L., Jianping Jun, Xingyun Zhang, Research on text mining algorithm based on focused crawler. 2017: p. 454-457.

Mironeanu Catalin, A.C., An efficient method in pre-processing phase of mining suspicious web crawlers. 2017.

Trupti V. Udapure, R.D.K., Rajesh C. Dharmik, Study of Web Crawler and its Different Types. 2014. 16(1).

A. Arroub, B.Z., E. Sabir and M. Sadik, A Literature Review on Smart Cities: Paradigms, Opportunities and Open Problems. 2016: p. 180-186.

Lu Zhang, Z.B., Zhiang Wu, Jie Cao, DGWC: Distributed and generic web crawler for online information extraction. 2016: p. 1-6.

Shubhangi G. Malas, R.S.P., SmartCrawler: Extraction of targeted forms from deep web using site locating and in-site exploring. 2017: p. 382-387.

Thomas Hassan, C.C., Aurélie Bertaux, Predictive and evolutive cross-referencing for web textual sources. 2017: p. 1114-1122.

Kun Liu, K.M., Zonglin Yue, Analysis and Design of Public Opinion Pre-Warning Analysis Platform Based on Vertical Search Engine. 2017: p. 288-292.

Yao, Y., Library Resource Vertical Search Engine Based on Ontology. 2017: p. 672-675.

Jingtao Shang, J.L., Yan Qin, Bo Li and Mengmeng Wu, Design of analysis system for documents based on web crawler. 2016: p. 289-293.

A. B. Archana, J.K., Location based semantic information retrieval from web documents using web crawler. 2015: p. 370-375.

Kolli Pavani, G.P.S., A novel web crawling method for vertical search engines. 2017: p. 1488-1493.

K. Sundaramoorthy, R.D., S. Nagadarshini, NewsOne — An Aggregation System for News Using Web Scraping Method. 2017: p. 136-140.

J. F. Brunelle, M.C.W.a.M.L.N., Archival Crawlers and JavaScript: Discover More Stuff but Crawl More Slowly. 2017: p. 1-10.

Chatur, U.N.B.a.P.N., A review on extracting underlying content from deep web interfaces. 2017: p. 234-237.

Juan Qiu, Q.D., Wei Wang, Kanglin Yin, ChangSheng Lin, ChongShu Qian, Topic Crawler for OpenStack QA Knowledge Base. 2017: p. 309-317.

Nekrasov, H.A., Development of the search robot for information security in web content. 2017: p. 79-81.

Alexander Menshchikov, A.K., Yurij Gatchin, Anatoly Korobeynikov, Nina Tishukova, A study of different web-crawler behaviour. 2017: p. 268-274.

Md. Abu Kausar, V.S.D., Sanjeev Kumar Singh, Web Crawler: A Review. 2013. 63: p. 31-36.

A. G. K. Leng, R.K.P., A. K. Singh and R. K. Dash, PyBot: An Algorithm for Web Crawling. 2011: p. 1-6.

T. Shivakumar, M.S.S.a.K.S., Python based 3-Axis CNC plotter. 2016: p. 823-827.


Refbacks

  • There are currently no refbacks.