发布者: 奈何亦是泪| 查看: 905 |原作者: 奈何亦是泪|来自: https://bbs.boniu123.cc/thread-1117447-1-1.html
本帖最后由 @xiaoxiong333 于 2024-2-5 01:38 编辑 爬虫工程师 --------------------- 国籍不限,薪资面议,在菲入职 ---------------------------------------------- 职位概述: 爬虫工程师负责开发和维护高效的网络爬虫程序,用于数据采集和信息抓取。他们需要具备人机对抗技术,以应对反爬虫机制,并负责设计和实施稳定的架构,确保爬取系统的可靠性和可扩展性。 工作职责: 1. 设计、开发和维护高性能的网络爬虫系统,用于数据采集和信息抓取。 2. 实施人机对抗技术,应对网站反爬虫机制,确保稳定的数据爬取。 3. 负责爬虫系统的架构设计和优化,确保可靠性、扩展性和安全性。 4. 进行数据清洗和预处理,以确保采集到的数据质量和一致性。 5. 与团队合作,制定和执行数据采集策略,并解决可能出现的问题。 6. 跟踪和了解最新的反爬虫技术和趋势,持续优化爬虫系统。 7. 编写技术文档和报告,记录爬虫系统的设计和实施细节。 任职资格: 1. 计算机科学、信息技术或相关领域的学士或硕士学位。 2. 在网络爬虫开发和数据采集方面有5年以上的工作经验。 3. 精通常用的编程语言和技术,如Python、Scrapy、Selenium等。 4. 具备人机对抗和反爬虫经验,熟悉常见的反爬虫机制和对抗方法。 5. 具备优秀的数据分析能力和问题解决能力。 6. 对网络安全和隐私保护有基本的了解和意识。 7. 良好的团队合作精神和沟通能力。 ----------------------------------------------- 有任何问题,欢迎您向我咨询联系方式: telegram频道:https://t.me/Technical168 Telegram纸飞机:@xiaoxiong333 Telegram纸飞机:@xiaoxiong333 |