91中文字幕无码_国产综合日韩精品_日韩AV无码精品一二三区_国产v欧美v日本v精品

崗位職責(zé):
1、負(fù)責(zé)多平臺(tái)信息爬取和頁(yè)面內(nèi)容的提取分析，負(fù)責(zé)破解各類(lèi)反爬機(jī)制;
2、負(fù)責(zé)網(wǎng)頁(yè)的數(shù)據(jù)抓取和爬取鏈路優(yōu)化(包括逆向分析、脫殼、加密參數(shù)破解、抓取攻防等)，提升抓取能力;
3、負(fù)責(zé)日常業(yè)務(wù)系統(tǒng)運(yùn)營(yíng)支撐工作(bsp,vsim-cor e，web 網(wǎng)站，終端系統(tǒng)，業(yè)務(wù)應(yīng)用監(jiān)控系統(tǒng)等)，相關(guān)運(yùn)營(yíng)支撐工具的開(kāi)發(fā)(python、go);
4、負(fù)責(zé)業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)的部署、發(fā)布、變更以及持續(xù)優(yōu)化;針對(duì)各系統(tǒng)編寫(xiě)并維護(hù)自動(dòng)化運(yùn)維腳本;

任職要求:
1、3年以上python爬蟲(chóng)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，有電商類(lèi)數(shù)據(jù)經(jīng)驗(yàn)優(yōu)先;
2、熟練掌握python語(yǔ)言或java語(yǔ)言，熟練掌握js語(yǔ)言、有app數(shù)據(jù)采集經(jīng)驗(yàn)者優(yōu)先;
3、精通數(shù)據(jù)采集技術(shù)，熟悉httpclient/jsoup/xpath/c ss/正則表達(dá)式/驗(yàn)證碼加密處理/代理池等網(wǎng)頁(yè)信息抽取技術(shù)，熟悉http底層協(xié)議;熟悉mysql、redis、elastic search、clickhouse等數(shù)據(jù)，熟悉linux，mysql，有一定的公有云經(jīng)驗(yàn)，了解sparksql，spark mllib，s park streaming以及spark graphx，hadoop、hive等大數(shù)據(jù)工具，amazon sagemaker;
4、精通各種反爬技術(shù)，并能夠通過(guò)多種應(yīng)對(duì)策略(如代理池、模擬登錄、驗(yàn)證碼與滑塊的處理、瀏覽器渲染等)來(lái)保證數(shù)據(jù)的持續(xù)交付;
5、熟悉網(wǎng)頁(yè)數(shù)據(jù)采集原理及技術(shù)，熟悉基于cookie的網(wǎng)站登錄原理;