1.網(wǎng)站日志是一個(gè)以log結(jié)尾的文件，資料記錄眾多原始信息，如web服務(wù)器通知的處理請(qǐng)求和運(yùn)行時(shí)錯(cuò)誤。
2.是從網(wǎng)站日志，可以清楚的很清楚用戶在有什么IP、什么時(shí)間、什么東西操作系統(tǒng)、什么呢瀏覽器、什么東西解析設(shè)備下訪問(wèn)網(wǎng)絡(luò)了網(wǎng)站的哪個(gè)啊頁(yè)面，訪問(wèn)如何確定最終。
3.搜索引擎也一類(lèi)網(wǎng)站中的一類(lèi)用戶。我們今天的分享課比較多是對(duì)于服務(wù)器上搜素引擎一樣的用戶他留的記錄并且分析。
替方便泛讀搜索引擎日志，我們是需要知道一點(diǎn)不同搜索引擎蜘蛛的標(biāo)識(shí)。下面是四個(gè)搜索引擎的logos百度蜘蛛:Baiduspider*輸入法:搜狗輸入法新聞蜘蛛*360:360蜘蛛*谷歌:Googlebot
(以下為日志記錄)
58.180.251.134--[2015年3月25日13時(shí)24分33秒0800]try/m53256.html
HTTP/1.120012264Mozilla/5.0
(WindowsNT6.1)appleWebKit/537.36(KHTML，像壁虎一樣)
chrome/35.0.1916.153Safari/537.36SE2。XMetaSr1.0
以上字段的解釋:
正常情況，當(dāng)日志文件較大時(shí)，需要結(jié)合shell和python來(lái)提取和分析數(shù)據(jù)。所以才，讀取數(shù)據(jù)網(wǎng)站日志中的字段有利于日常分析。這里就不一一列舉了。很有興趣童鞋也可以一直進(jìn)一步了解。
規(guī)模大網(wǎng)站常見(jiàn)是可以使用根據(jù)上述規(guī)定方法來(lái)做日志分析。
普通的個(gè)人網(wǎng)站，也可以企業(yè)網(wǎng)站，是可以是從光年日志分析工具，與百度站長(zhǎng)平臺(tái)和建議使用。
我們先來(lái)清楚一下SEO流量的獲取流程:抓取時(shí)間->索引->排名->直接點(diǎn)擊->流量
因?yàn)楂@得SEO流量的前提一定是價(jià)值價(jià)格頁(yè)面被搜索引擎直接抓取。
因此對(duì)此SEO運(yùn)營(yíng)對(duì)于，分析搜索引擎的網(wǎng)站日志是非常必要的:*分析是否是有抓取可以解決一定的索引問(wèn)題。*才發(fā)現(xiàn)異常:及時(shí)以免。例如有大量的無(wú)比頁(yè)面，404等。*破霸體完全控制:讓更多的品質(zhì)良好內(nèi)容被直接抓取，過(guò)濾后無(wú)效。
Webanalytics的最終目標(biāo):讓更大流通價(jià)值頁(yè)面被破霸體，你就有機(jī)會(huì)我得到索引，從而有機(jī)會(huì)我得到SEO流量。
不定期檢查監(jiān)控搜索引擎破霸體量的變化，歷史數(shù)據(jù)的縱向和縱向?qū)Ρ瓤梢园l(fā)現(xiàn)異常狀況。*建議使用第三方站長(zhǎng)平臺(tái)，如百度站長(zhǎng)平臺(tái)，打聽(tīng)一下搜索引擎破霸體頻率的變化。*借助于光年日志分析工具，定期定時(shí)做數(shù)據(jù)記錄，所了解不重要欄目和頁(yè)面直接抓取量的變化。
舉個(gè)栗子:
老站點(diǎn)(建站1年，有人能維護(hù)的網(wǎng)站):Seo流量波動(dòng)異樣。
有兩種情況:
打聽(tīng)一下外界:所了解外界的前提是你平時(shí)有一定的網(wǎng)絡(luò)基礎(chǔ)。如果不是也沒(méi)，也沒(méi)有關(guān)系。泡在2個(gè)地方——去搜索引擎站長(zhǎng)平臺(tái)或者參加搜索引擎站長(zhǎng)群。例如像百度搜索引擎，有站長(zhǎng)平臺(tái)，也會(huì)你所選建立起站長(zhǎng)群。在人脈的基礎(chǔ)上，可以不再知道一點(diǎn)外界——有木有的的的波動(dòng)？這種前提要和你短期的SEO操作一起判斷，避免誤判。無(wú)人脈，泡泡群，泡泡站長(zhǎng)平臺(tái)。常見(jiàn)如果沒(méi)有搜索引擎算法怎么升級(jí)，群內(nèi)的或站長(zhǎng)平臺(tái)都會(huì)有相關(guān)的小道消息。如果是搜索引擎自身算法生級(jí)倒致的流量波動(dòng)，就需要據(jù)新的算法表現(xiàn)出相對(duì)應(yīng)的站內(nèi)優(yōu)化。諸如上百度冰桶3.0版本提議，將堅(jiān)決打擊百度移動(dòng)搜索中制止用戶完整搜索路徑的內(nèi)部函數(shù)行為。如果站點(diǎn)有不超過(guò)情況，就必須細(xì)優(yōu)化系統(tǒng):哪怕業(yè)務(wù)對(duì)接的APPLINK內(nèi)部函數(shù)，我還是網(wǎng)頁(yè)本身全局函數(shù)的應(yīng)用，應(yīng)該普通的網(wǎng)頁(yè)，都應(yīng)該要是可直接返回可直接關(guān)閉的。用戶驗(yàn)證搜索結(jié)果的詳細(xì)性，不要直接下載應(yīng)用程序或獲得許可。
分析內(nèi)部:
在分析里面之后，再拋一下這個(gè)公式:Seo流量=抓取量*收錄文章率(準(zhǔn)的說(shuō)應(yīng)該是索引率)*首頁(yè)率*點(diǎn)擊率。
。當(dāng)直接抓取頻率異常時(shí)，抓取時(shí)間量定然會(huì)減少。所以，可以排除外部因素，有必要對(duì)網(wǎng)站日志參與分析。如果沒(méi)有你的站點(diǎn)是中文站點(diǎn)，另外是百度站長(zhǎng)平臺(tái)的VIP用戶。那你，是可以先使用第三方站長(zhǎng)平臺(tái)(諸如百度搜索)的“抓取時(shí)間頻率”工具，清楚搜索引擎的近期直接抓取頻率、抓取時(shí)間、異常頁(yè)面等。大多在那個(gè)工具的幫助下，我們這個(gè)可以對(duì)搜索引擎最近的抓取時(shí)間情況有一個(gè)明確的的了解，也是可以借助那個(gè)工具找不到一些你所選的解決方法。
這里，簡(jiǎn)單的方法解釋一下這個(gè)概念，以便于理解:
1.抓取頻率:破霸體頻率是搜索引擎在單位時(shí)間內(nèi)(天級(jí))直接抓取網(wǎng)站服務(wù)器的總次數(shù)。要是搜索引擎對(duì)這個(gè)站點(diǎn)的抓取時(shí)間頻率過(guò)高，很很有可能會(huì)造成服務(wù)器不穩(wěn)定啊，蜘蛛會(huì)依據(jù)網(wǎng)站內(nèi)容更新頻率、服務(wù)器壓力等因素自動(dòng)變動(dòng)破霸體頻率。
(1)假如抓取頻率的上限被錯(cuò)誤`地變動(dòng)和降底，將然后引響直接抓取量。搶量會(huì)減少，指標(biāo)量就少，流量也或者增加。
(2)運(yùn)營(yíng)層面:修真者的存在更多重復(fù)頁(yè)面(案例一:自身網(wǎng)站存在地成批反復(fù)重復(fù)內(nèi)容。情況二:自己網(wǎng)站的內(nèi)容大量再收集互聯(lián)網(wǎng)上已有的內(nèi)容)。從其他搜索引擎的目標(biāo)向北出發(fā)——搜索引擎想直接抓取大量好些的頁(yè)面，不過(guò)你的網(wǎng)站才能產(chǎn)生了大量的大俠幫幫忙內(nèi)容。為啥要在你的網(wǎng)站上浪費(fèi)資源？另，網(wǎng)站內(nèi)容更新時(shí)間不長(zhǎng)。我建議你按照定時(shí)、定期自查生產(chǎn)品質(zhì)良好內(nèi)容來(lái)能解決這些問(wèn)題。抓取時(shí)間越長(zhǎng)，網(wǎng)站抓取越少。通常情況下，有可能服務(wù)器速度慢會(huì)倒致直接抓取時(shí)間變長(zhǎng)。有一種很可能是和網(wǎng)站本身的結(jié)構(gòu)無(wú)關(guān)。太深的等級(jí)制度導(dǎo)致。
總結(jié)歸納一下:
老網(wǎng)站如何做網(wǎng)站日志分析(針對(duì)中文網(wǎng)站):外部首先排除；
知道一點(diǎn)搜索引擎的2011版算法如何確定有變化，同行是否有帶有變化。
內(nèi)在分析:
(1)在用工具:百度站長(zhǎng)平臺(tái)(非VIP賬號(hào)，見(jiàn)下面推薦)
(2)分析方法:通常建議使用破霸體頻率分析工具通過(guò)分析，網(wǎng)站破霸體頻率、破霸體時(shí)間、頁(yè)面異常情況等數(shù)據(jù)變化。并與相關(guān)部門(mén)接受對(duì)接解決的辦法。
非百度VIP:
步驟:
1.直接下載網(wǎng)站日志(要是是企業(yè)網(wǎng)站，可以不直接找運(yùn)維部的童鞋幫你上網(wǎng)下載。如果沒(méi)有是個(gè)人站長(zhǎng)，再在你買(mǎi)的虛擬主機(jī)后臺(tái)上網(wǎng)下載。該文件以。日志)
2.再打開(kāi)光年日志分析工具，上傳網(wǎng)站日志。
3.全面檢查分析結(jié)果。通常有以下幾個(gè)方面:
(1)一般分析:各種爬蟲(chóng)的總直接抓取量、總停留時(shí)間、總訪問(wèn)次數(shù)。
(2)目錄分析:分析特殊爬蟲(chóng)破霸體那里目錄的情況。實(shí)際這個(gè)我們這個(gè)可以了解到搜索引擎對(duì)一些不重要欄目的破霸體，在內(nèi)抓取了都有那些生效頁(yè)面。
(3)頁(yè)面分析:按照頁(yè)面分析，也可以明白都有那些頁(yè)面被不穩(wěn)定重復(fù)直接抓取，可以依據(jù)通過(guò)優(yōu)化和調(diào)整。比如說(shuō)一些網(wǎng)站的注冊(cè)一頁(yè)面和登錄頁(yè)面，每天都會(huì)才發(fā)現(xiàn)被抓取了很多次。當(dāng)這個(gè)發(fā)生時(shí)，我們大多數(shù)會(huì)屏閉登陸/注冊(cè)頁(yè)面。
(4)狀態(tài)碼有兩種:爬蟲(chóng)狀態(tài)碼和用戶狀態(tài)碼。上級(jí)主管部門(mén)主用戶/爬蟲(chóng)訪問(wèn)頁(yè)面時(shí)的頁(yè)面狀態(tài)。頁(yè)面狀態(tài)碼，我們可以清楚頁(yè)面狀態(tài)，并提出或者的調(diào)整，.例如當(dāng)網(wǎng)站中未知大量的404頁(yè)面時(shí)。這是需要進(jìn)一步調(diào)查。諸如一些團(tuán)購(gòu)頁(yè)面，團(tuán)購(gòu)過(guò)期后后頁(yè)面直接都變成404，不過(guò)死鏈列表還沒(méi)有再提交到百度站長(zhǎng)平臺(tái)，那樣的話會(huì)容易造成抓取無(wú)效。
快速收縮數(shù)據(jù)庫(kù)一般情況下，SQL數(shù)據(jù)庫(kù)的收縮并又不能很大程度上越小數(shù)據(jù)庫(kù)大小，其要注意作用是收縮起來(lái)日志大小，應(yīng)當(dāng)及時(shí)定期進(jìn)行此操作以免數(shù)據(jù)庫(kù)日志過(guò)大
1、設(shè)置里數(shù)據(jù)庫(kù)模式為簡(jiǎn)單啊模式：打開(kāi)SQL企業(yè)管理器，在控制臺(tái)根目錄中依次點(diǎn)開(kāi)MicrosoftSQLServer-->SQLServer組-->右擊先打開(kāi)你的服務(wù)器-->右鍵點(diǎn)擊可以打開(kāi)數(shù)據(jù)庫(kù)目錄-->選擇你的數(shù)據(jù)庫(kù)名稱（如論壇數(shù)據(jù)庫(kù)Forum）-->然后再點(diǎn)擊右鍵你選屬性-->選擇選項(xiàng)-->在故障還原的模式中選擇類(lèi)型“簡(jiǎn)單的”，后再按確定存放
2、在當(dāng)前數(shù)據(jù)庫(kù)上點(diǎn)右鍵，看大部分任務(wù)中的收縮數(shù)據(jù)庫(kù)，一般里面的默認(rèn)設(shè)置不用按照，就點(diǎn)可以確定
3、收縮起來(lái)數(shù)據(jù)庫(kù)成功后，我建議你將您的數(shù)據(jù)庫(kù)屬性重新可以設(shè)置為標(biāo)準(zhǔn)模式，操作方法同第一點(diǎn)，是因?yàn)槿罩驹谝恍┊惓Ｇ闆r下往往是重新恢復(fù)數(shù)據(jù)庫(kù)的最重要依據(jù)
第一階段：數(shù)據(jù)收集
舉例在線業(yè)務(wù)大多數(shù)大都在你公司官網(wǎng)上并且，那你大部分線上營(yíng)銷(xiāo)、搜索營(yíng)銷(xiāo)和用戶行為活動(dòng)的查找數(shù)據(jù)，都可以不通過(guò)：
網(wǎng)頁(yè)日志文件收集—你需要精通網(wǎng)頁(yè)日志文件收集數(shù)據(jù)的原理，而且很清楚哪些數(shù)據(jù)是可收集到的。網(wǎng)站日志文件也可以"記錄信息"絕大部分用戶在網(wǎng)站上讀取的文件，因此你是可以貿(mào)然地發(fā)現(xiàn)網(wǎng)頁(yè)的哪些"部分"就沒(méi)做出反應(yīng)用戶的請(qǐng)求。網(wǎng)站日志分析相關(guān)參考：網(wǎng)站日志分析。
網(wǎng)站分析—全球大部分網(wǎng)站都在用分析工具。網(wǎng)站分析工具一般本身圖形界面，這個(gè)可以飛快顯示用戶的數(shù)據(jù)趨勢(shì)。所有數(shù)據(jù)這個(gè)可以以表格、文本文件甚至連是PDF文件的形式上網(wǎng)下載到本地。
用來(lái)網(wǎng)站分析工具收集用戶數(shù)據(jù)前，要直接安裝基礎(chǔ)設(shè)置來(lái)追蹤數(shù)據(jù)。通常要插到一些JavaScript的追蹤腳本或是在網(wǎng)站全部HTML頁(yè)面插到一些1*1像素的腳本。如果你必須抽取的用戶數(shù)據(jù)遠(yuǎn)超過(guò)默認(rèn)設(shè)置所收集的用戶數(shù)據(jù)，需在常規(guī)探查腳本外直接安裝低級(jí)追蹤腳本。
問(wèn)題一：想考大數(shù)據(jù)分析師應(yīng)該要學(xué)什么？數(shù)據(jù)分析師是為了不適應(yīng)大數(shù)據(jù)時(shí)代要求，結(jié)合正規(guī)化、專業(yè)化、職業(yè)化的數(shù)據(jù)分析師人才隊(duì)伍建設(shè)，進(jìn)一步進(jìn)階我國(guó)數(shù)據(jù)分析員師的職業(yè)素質(zhì)和能力水平，經(jīng)國(guó)家相關(guān)部委統(tǒng)一又規(guī)定如何實(shí)施，旨在搭建按照掌握大量行業(yè)數(shù)據(jù)包括現(xiàn)代科學(xué)的計(jì)算工具，將經(jīng)濟(jì)學(xué)原理用數(shù)學(xué)模型來(lái)表示，科學(xué)合理的分析投資和運(yùn)營(yíng)項(xiàng)目未來(lái)的收益及風(fēng)險(xiǎn)情況，為表現(xiàn)出科學(xué)合理的決策提供依據(jù)。
數(shù)據(jù)分析師由工業(yè)和信息化部教育與考試中心和中國(guó)商業(yè)聯(lián)合會(huì)數(shù)據(jù)分析專業(yè)委員會(huì)統(tǒng)一安排考核，二級(jí)考試總共三門(mén)《數(shù)據(jù)分析基礎(chǔ)》《量化經(jīng)營(yíng)》《量化投資》，每門(mén)100分，60分不及格制
問(wèn)題二：數(shù)據(jù)分析師要能夠掌握哪些能力，必須做哪些地方打算反正是什么好行業(yè)的數(shù)據(jù)分析師，前提是要手中掌握的技能是：
要具高的數(shù)學(xué)知識(shí)，.例如統(tǒng)計(jì)分析、數(shù)理統(tǒng)計(jì)、模糊數(shù)學(xué)、線性代數(shù)、建模方法等等
IT技術(shù)：數(shù)據(jù)庫(kù)技術(shù)、大數(shù)據(jù)技術(shù)、離散數(shù)學(xué)算法。甚至還是編程技術(shù)，.例如C、Fortran、Java、falsh等
我曾經(jīng)的以及銷(xiāo)售，在相似行當(dāng)工作多年，一點(diǎn)點(diǎn)切身體會(huì)個(gè)人意見(jiàn)。
-:(充斥淘寶網(wǎng)的【京東藏寶齋】
問(wèn)題三：想找數(shù)據(jù)分析的實(shí)習(xí)應(yīng)該學(xué)些什么我做過(guò)一段時(shí)間當(dāng)然了是和推廣混著做的，個(gè)人都覺(jué)得電商的數(shù)據(jù)分析都沒(méi)什么大的前途，假如確實(shí)想在數(shù)據(jù)分析行業(yè)發(fā)展的話，建議你找個(gè)有機(jī)會(huì)學(xué)建模的行業(yè)，那樣回來(lái)以后以后到哪都吃香，或則找個(gè)是需要用到統(tǒng)計(jì)學(xué)軟件的行業(yè)，那樣還好，如果沒(méi)有你僅僅前期的準(zhǔn)備工作我建議你你參加過(guò)一下全國(guó)全國(guó)電子設(shè)計(jì)大賽大賽，像多元統(tǒng)計(jì)分析，計(jì)量經(jīng)濟(jì)學(xué)，數(shù)理統(tǒng)計(jì)，這些都挺不重要的
問(wèn)題四：想要做數(shù)據(jù)分析師應(yīng)中,選擇有什么專業(yè)？統(tǒng)計(jì)數(shù)據(jù)（有統(tǒng)計(jì)理論）、計(jì)算機(jī)專業(yè)（會(huì)編程序?qū)崿F(xiàn)程序）。其實(shí)什么專業(yè)關(guān)系不是很大，只要你想做，都可以漸漸的你做到
問(wèn)題五：如何在家自學(xué)下一界數(shù)據(jù)分析師中文專業(yè)的前期要多花點(diǎn)功夫了啊，我是數(shù)學(xué)專業(yè)的，大學(xué)做過(guò)建模，全部統(tǒng)計(jì)學(xué)的東西有一些軟件需要多少相互過(guò)一點(diǎn)。個(gè)人建議你自學(xué)的話，excel軟件和spss先比較熟悉一下，找兩本書(shū)去看看，《誰(shuí)說(shuō)菜鳥(niǎo)不會(huì)數(shù)據(jù)分析》是剛?cè)腴T(mén)的，是可以看一看，先打聽(tīng)一下一下吧，數(shù)據(jù)分析的東西還是要多理論知識(shí)的。要是你現(xiàn)在工作跟數(shù)據(jù)分析是沒(méi)有什么東西關(guān)系的話，轉(zhuǎn)業(yè)工作可能稍微有點(diǎn)難了，這種個(gè)人建議去考個(gè)證書(shū)吧，雖然現(xiàn)在國(guó)內(nèi)數(shù)據(jù)分析剛平路，還是沒(méi)有太有含金量的證書(shū)，不過(guò)你這種有那肯定比沒(méi)有好，我就去考了一個(gè)，考CPDA吧，還有一個(gè)一個(gè)CDA，我選考的CPDA，說(shuō)是CDA國(guó)外有機(jī)構(gòu)什么的，但我找到一丁點(diǎn)網(wǎng)站是可以查到這些證書(shū)，問(wèn)他們他們也再說(shuō)，我怕出來(lái)找工作人家要去查查過(guò)了，不過(guò)CPDA工信部網(wǎng)站能可以查詢證書(shū)信息的，因?yàn)閷?duì)就業(yè)幫助很有可能會(huì)大一些，工作我還是有參考作用的，但是沒(méi)指望靠班只學(xué)很多我還是不可能，僅僅讓你知道一點(diǎn)入門(mén)學(xué)習(xí)，手上多個(gè)敲門(mén)磚。數(shù)據(jù)分析一類(lèi)技術(shù)類(lèi)工種，要多實(shí)踐相結(jié)合，數(shù)據(jù)采集和挖掘點(diǎn)是基礎(chǔ)，這個(gè)工作門(mén)檻比數(shù)據(jù)分析崗相對(duì)低一些，好找，只希望對(duì)你有幫助。
問(wèn)題六：要是想成為一名數(shù)據(jù)分析師，不需要具備都有那些基本知識(shí)一、辦公軟件
1）能熟練可以使用excel，Access，Visio等MSOffice辦公軟件，是可以制做相關(guān)的原型；（xd即microsoft微軟，MSOffice是微軟提供的系列軟件，Word，Excel，PowerPoint，Access，OutLook，Publisher，InfoPath這7個(gè)辦公軟件中，廣泛的是前4個(gè)。）2）重點(diǎn)掌握到EXCEL表，會(huì)可以使用低級(jí)功能，能急速可以制作報(bào)表，能熟練在用EXCELVBA；
1）非常熟練建議使用某些數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘工具軟件，比較熟悉各種網(wǎng)站分析軟件的應(yīng)用，如Google Analytics、百度統(tǒng)計(jì)、Omniture等；
2）擁有具體數(shù)據(jù)分析軟件的使用經(jīng)驗(yàn)SPSS
SAS
EVIEW
STATA
R
Weka……
3）至多精通滿可以使用IBM Intelligent Miner、SAS Enterprise Miner、SPSS Clementine、LEVEL5Quest、SGI、WinRosa、ExcelVBA、S-plus、Matlab、SSIS等等常見(jiàn)數(shù)據(jù)挖掘軟件中的一個(gè)進(jìn)行數(shù)據(jù)挖掘的開(kāi)發(fā)工作；
4）熟練的掌握使用至少一種網(wǎng)站流量分析工具（Google Analytics、Webtrends、百度統(tǒng)計(jì)等），并能夠掌握分析工具的部署、配置優(yōu)化和權(quán)限管理；
5）精通于一種或多種數(shù)據(jù)挖掘算法（如聚類(lèi)、降臨、決策樹(shù)等）；6）清楚維基編輯器者不優(yōu)先；7）使用軟件的要求；
（7.1）能夠掌握數(shù)據(jù)分析、深處挖掘方法，應(yīng)具備使用Excel、SQL、SPSS/SAS、Powerpoint等工具處理和分析較大量級(jí)數(shù)據(jù)的能力；
（7.2）能綜合考可以使用特殊數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析、制表繪圖等軟件進(jìn)行圖表、圖像以及文字處理；
（7.3）掌握正確的數(shù)據(jù)統(tǒng)計(jì)、分析方法，有敏銳的洞察力和數(shù)據(jù)感覺(jué)，最優(yōu)秀的數(shù)據(jù)分析能力；
（7.4）還能夠綜合建議使用各種數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、制表繪圖等軟件接受具有基本是數(shù)據(jù)美感的圖表、圖像包括文字處理。
1）熟悉Linux操作系統(tǒng)及至少一種腳本語(yǔ)言(Shell/Perl/Python)；
2）熟練的掌握能夠掌握C/C++/Java中的一種，有分布式平臺(tái)（如Hadoop）開(kāi)發(fā)經(jīng)驗(yàn)者除外；3）比較熟悉數(shù)據(jù)庫(kù)原理及SQL基本操作；
（3.1）清楚Mysql，postgresql，sql server等數(shù)據(jù)庫(kù)原理，熟得不能再熟SQL，必須具備很強(qiáng)的學(xué)習(xí)能力，寫(xiě)過(guò)程序，會(huì)perl，python等腳本語(yǔ)言者除外；（3.2）熟練應(yīng)用mysql的select，restore等sql語(yǔ)句；4）比較熟悉sql server或其他主流數(shù)據(jù)庫(kù)，清楚olap原理；5）清楚Oracle或其他規(guī)模大數(shù)據(jù)庫(kù)。
1）必須具備良好的訓(xùn)練的行業(yè)分析、判斷能力、及文字表達(dá)能力；
2）交流、統(tǒng)籌能力強(qiáng)，有較高的數(shù)據(jù)敏感性及分析報(bào)告寫(xiě)作能力；3）表述網(wǎng)站運(yùn)營(yíng)的常識(shí)，能從問(wèn)題中引申出解決方案，提供啊,設(shè)計(jì)改進(jìn)意見(jiàn)；
4）具備良好經(jīng)濟(jì)學(xué)、統(tǒng)計(jì)學(xué)及具體領(lǐng)域的理論基礎(chǔ)，清楚數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析或市場(chǎng)研究的工作方法，具有較弱的數(shù)據(jù)分析能力；
5）熟得不能再熟數(shù)據(jù)分析與數(shù)理統(tǒng)計(jì)理論，具有去相關(guān)課程研修經(jīng)歷。
1）較為強(qiáng)烈的英文聽(tīng)說(shuō)讀寫(xiě)能力，英語(yǔ)6級(jí)左右吧；
2）文筆良好的訓(xùn)練；
3）打聽(tīng)一下seo,sem不優(yōu)先；
4）知識(shí)要求：同時(shí)擁有統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、經(jīng)濟(jì)學(xué)三個(gè)領(lǐng)域的基礎(chǔ)知識(shí)；英語(yǔ)四級(jí)或以內(nèi)、認(rèn)識(shí)指標(biāo)英文......>>
問(wèn)題七：學(xué)數(shù)據(jù)分析師有專業(yè)要求嗎？你好，是也沒(méi)專業(yè)要求的，如果能你數(shù)據(jù)基礎(chǔ)也不是太差，實(shí)際下面幾步就也可以藍(lán)月帝國(guó)一名數(shù)據(jù)分析師。
這是重中之重，千里之臺(tái)，向東延伸壘土，最有用的那是最下面的那幾層。統(tǒng)計(jì)思維，統(tǒng)計(jì)方法，這里首先是市場(chǎng)調(diào)研數(shù)據(jù)的獲取與整理，然后再是最簡(jiǎn)單的描述性分析，主要是具體用法的推斷性分析，方差分析，到高級(jí)的具體，回歸等多元統(tǒng)計(jì)分析，手中掌握了這個(gè)原理，才能進(jìn)行下一步。
跪求數(shù)據(jù)分析主流軟件有（從上手容易度由易至難）：Excel，SPSS，Stata，R，SAS等。簡(jiǎn)單是學(xué)會(huì)怎樣才能你操作這個(gè)軟件，后再是利用軟件從數(shù)據(jù)的清洗結(jié)束一步步并且處理，分析，到最后輸出來(lái)結(jié)果，分析檢驗(yàn)及解讀一數(shù)據(jù)。
不過(guò)數(shù)據(jù)分析也乾坤二卦數(shù)據(jù)挖掘，但工作中可以做到后面會(huì)細(xì)分到分析方向和深處挖掘方向，兩者并無(wú)區(qū)別，跪求數(shù)據(jù)挖掘也牽涉到許多模型算法，如：關(guān)聯(lián)法則、神經(jīng)網(wǎng)絡(luò)、決策樹(shù)、遺傳算法、可視技術(shù)等。
這一步又是不難學(xué)習(xí)的一步，行業(yè)有別，業(yè)務(wù)完全不同，業(yè)務(wù)的不同所發(fā)揮的分析方法亦有區(qū)分，求實(shí)際工作是解決業(yè)務(wù)問(wèn)題，而對(duì)業(yè)務(wù)的洞察能力非常重要，而這種能力是要在工作虛空之中一點(diǎn)一滴的積累，可能目前是做零售，會(huì)要用一些去相關(guān)輪回方法，但改行做做電商，又會(huì)會(huì)用到那些的挖掘等方法。業(yè)務(wù)雖變化萬(wàn)千，不過(guò)分析方法卻百變不離其宗，所以掌握到好技術(shù)用到任何一點(diǎn)一個(gè)環(huán)境靠的只能是業(yè)務(wù)經(jīng)驗(yàn)積累。
不過(guò)，考個(gè)CDA的數(shù)據(jù)分析師證書(shū)就好些了。
問(wèn)題八：數(shù)據(jù)分析師學(xué)習(xí)是什么，數(shù)據(jù)分析師課程內(nèi)容除了什么，數(shù)據(jù)分析師在哪里培訓(xùn)？一.數(shù)據(jù)分析師的學(xué)習(xí)是面授和近距離攻擊。
項(xiàng)目數(shù)據(jù)分析師培訓(xùn)課程涉及到經(jīng)濟(jì)學(xué)、市場(chǎng)營(yíng)銷(xiāo)學(xué)、財(cái)務(wù)管理學(xué)、計(jì)量經(jīng)濟(jì)學(xué)、預(yù)測(cè)學(xué)、金融學(xué)等各方面知識(shí)，不需要學(xué)員應(yīng)具備各個(gè)性理論基礎(chǔ)知識(shí)貯備。我們對(duì)那里學(xué)科中項(xiàng)目分析所要會(huì)用到的知識(shí)點(diǎn)接受了深入分析，在講義中詳細(xì)點(diǎn)，使學(xué)員可在要比準(zhǔn)確的領(lǐng)域內(nèi)迅速完全掌握知識(shí)并使之應(yīng)用。做到能夠讓學(xué)員將課本上所學(xué)的東西真正的時(shí)變可以借用的最有效工具。
時(shí)間為一年整，采取先進(jìn)的同步教學(xué)，絕對(duì)的保證去學(xué)習(xí)質(zhì)量，具體特點(diǎn)不勝感激：
a、面授期間（8天面授），自動(dòng)更新課程五次，按照每周的更新課程，讓學(xué)員不僅可以在面授前提前預(yù)習(xí)基礎(chǔ)知識(shí)，但是也可以通過(guò)近戰(zhàn)學(xué)習(xí)中心提交作業(yè)、知識(shí)點(diǎn)自我肯定測(cè)試3、考試復(fù)習(xí)、習(xí)題回答一、線上答疑解惑、案例參加等綜合類(lèi)項(xiàng)目更好的掌握到知識(shí)。
b、面授結(jié)束了后，學(xué)員還有一個(gè)11個(gè)月的近戰(zhàn)學(xué)習(xí)時(shí)間，每月一次的課件更新，使學(xué)員不單能成功了慢慢適應(yīng)項(xiàng)目數(shù)據(jù)分析師的認(rèn)證考試，而且可以能夠掌握各種數(shù)據(jù)分析的拓展知識(shí)和技能，為分析師在未來(lái)能夠無(wú)法勝任專業(yè)分析工作打響了名號(hào)甚深基礎(chǔ)。
c、遠(yuǎn)程學(xué)習(xí)不僅有豐富地的文字學(xué)習(xí)內(nèi)容，并且大比例提高了音頻、視頻課件，使學(xué)員是可以生動(dòng)形象的課件能完成階段性去學(xué)習(xí)。
d、近戰(zhàn)學(xué)習(xí)中心為學(xué)員提供給學(xué)習(xí)計(jì)劃制定、班級(jí)交流、繼續(xù)教育等功能，解決學(xué)員由得學(xué)、實(shí)現(xiàn)方法更好的學(xué)習(xí)效果。
三、數(shù)據(jù)分析師在全國(guó)各地應(yīng)該有直接授權(quán)管理中心天天上課，北京、上海、廣東等也有，具體看的要看您去哪里。
問(wèn)題九：數(shù)據(jù)分析師培訓(xùn)，什么東西人合適學(xué)數(shù)據(jù)分析數(shù)據(jù)分析師必須學(xué)習(xí)200元以內(nèi)幾個(gè)方面的課程：
（1）數(shù)據(jù)管理。
a、數(shù)據(jù)獲取。
案例分析:建議使用產(chǎn)品信息文件演示spss的數(shù)據(jù)讀取數(shù)據(jù)共能。
b、數(shù)據(jù)管理。
企業(yè)需求:對(duì)小型數(shù)據(jù)通過(guò)編碼、需要清理、轉(zhuǎn)換。
案例分析:不使用銀行信用違約信息文件spss你所選過(guò)程。
1）數(shù)據(jù)的選擇、合并與拆分、檢查極其值。
2）新變量化合，SPSS函數(shù)。
3）使用SPSS自由變化數(shù)據(jù)結(jié)構(gòu)――轉(zhuǎn)置和重組。
4）具體方法的描述性統(tǒng)計(jì)分析功能。頻率過(guò)程、請(qǐng)看過(guò)程、探索過(guò)程。
c、數(shù)據(jù)探索和報(bào)表呈現(xiàn)。
企業(yè)需求:對(duì)企業(yè)級(jí)數(shù)據(jù)進(jìn)行探尋中，比較多比較復(fù)雜圖形的使用。spss報(bào)表輸出。
案例分析:企業(yè)績(jī)效文件，要如何生成美觀清晰的報(bào)告。
2）制作報(bào)表的中對(duì)不同類(lèi)型的數(shù)據(jù)處理
3）報(bào)表生成功能與其他選項(xiàng)的區(qū)別
（2）數(shù)據(jù)處理
a、去相關(guān)與差異分析。
案例分析:產(chǎn)品合格率的去相關(guān)與差異分析。
b、線性分析預(yù)測(cè)。
企業(yè)需求:一路探索影響企業(yè)效率的因素，并進(jìn)一步分析和預(yù)測(cè)企業(yè)效率。
案例分析:產(chǎn)品合格率的影響因素及其預(yù)測(cè)分析。
c、因子分析。
企業(yè)需求:不需要灌注影響大企業(yè)效率的通常因素，并且重要投資什么
案例分析:客戶購(gòu)買(mǎi)力信息研究。
d、聚類(lèi)分析。
案例分析:客戶購(gòu)買(mǎi)力信息研究
e、bootstrap。
案例分析:bootstrap抽樣。
SPSS代碼應(yīng)用
問(wèn)題十：大數(shù)據(jù)分析師估計(jì)要學(xué)什么東西知識(shí)？1、不需要有應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)量經(jīng)濟(jì)學(xué)專業(yè)本科的或工學(xué)碩士層次水平的數(shù)學(xué)知識(shí)背景。
2、最起碼熟練SPSS、STATISTIC、Eviews、SAS等數(shù)據(jù)分析軟件中的一門(mén)。
3、大概還能夠用Acess等進(jìn)行數(shù)據(jù)庫(kù)開(kāi)發(fā)；
4、大概掌握一門(mén)數(shù)學(xué)軟件：matalab，mathmatics參與新模型的構(gòu)建。
5、最起碼能夠掌握一門(mén)編程語(yǔ)言；
6，其實(shí)也要其他應(yīng)用領(lǐng)域方面的知識(shí)，例如市場(chǎng)營(yíng)銷(xiāo)專業(yè)、經(jīng)濟(jì)統(tǒng)計(jì)學(xué)等，只不過(guò)這是數(shù)據(jù)分析的要注意應(yīng)用領(lǐng)域。
一、什么是網(wǎng)站日志
1.網(wǎng)站日志是記錄web服務(wù)器可以接收一次性處理幫忙在內(nèi)運(yùn)行時(shí)錯(cuò)誤等其它原始信息的以·log結(jié)尾的文件。
2.通過(guò)網(wǎng)站日志也可以知道的得知用戶在什么好IP、什么呢時(shí)間、用什么操作系統(tǒng)、什么東西瀏覽器、什么東西分辨率設(shè)備下訪問(wèn)網(wǎng)絡(luò)了網(wǎng)站的哪個(gè)地方頁(yè)面，有無(wú)ftp訪問(wèn)成功。
3.搜索引擎也屬于什么網(wǎng)站中的一類(lèi)用戶，我們今天的分享課，通常是針對(duì)搜索引擎那樣的用戶在服務(wù)器留下的記錄展開(kāi)攻擊分析。
為了方便啊能夠讀懂搜索引擎日志，我們不需要知道一點(diǎn)有所不同搜索引擎蜘蛛的標(biāo)識(shí)，以下為4種搜索引擎的標(biāo)識(shí)——*百度蜘蛛：Baiduspider*輸入法：Sogou News Spider*360：360Spider*谷歌：Googlebot
（以下為一段日志記錄）
58.180.251.134--[25/Mar/2015:13:24:33+0800]"get/m53256.html
HTTP/1.1"20012264"http://www.cafehome.com/index-1s2i2p2""Mozilla/5.0
(Windows NT6.1)AppleWebKit/537.36(KHTML,like Gecko)
Chrome/35.0.1916.153Safari/537.36SE2.XMetaSr1.0""-""-""-"
以下為字段深度解讀：
常見(jiàn)日志文件較高的情況下，需要?jiǎng)佑胹hell與python加強(qiáng)站了起來(lái)，做數(shù)據(jù)提純與分析。所以我能夠讀懂網(wǎng)站日志中的字段就可以增加日常的分析。這個(gè)在此不一一列舉，有興趣的童鞋是可以繼續(xù)接觸了解。
大型網(wǎng)站常見(jiàn)可以用左右吧的方法來(lái)進(jìn)行做日志分析。
大多數(shù)的個(gè)人站點(diǎn)，或者企業(yè)網(wǎng)站，則可以不是從光年日志分析工具增強(qiáng)百度站長(zhǎng)平臺(tái)一起不使用。
先來(lái)知道一點(diǎn)SEO流量的某些流程：抓取時(shí)間－－>索引－－－>排名－－－>然后點(diǎn)擊－－－>流量
所以，要完成任務(wù)SEO流量的前提勿必是，本身價(jià)值頁(yè)面被搜索引擎抓取到。
所以才，對(duì)此SEO運(yùn)營(yíng)可以說(shuō)，分析搜索引擎網(wǎng)站日志就稍顯的很有必要：*分析破霸體有無(wú)：可以解決一定的索引問(wèn)題。*發(fā)現(xiàn)到異常：及時(shí)可以避免。如必然大量異常頁(yè)面，404等*抓取時(shí)間調(diào)控：讓更多優(yōu)質(zhì)的內(nèi)容被抓取，過(guò)濾生效抓取時(shí)間。
網(wǎng)站分析的終于目標(biāo)：讓大量能變現(xiàn)頁(yè)面被破霸體，將有機(jī)會(huì)完成索引，從而有機(jī)會(huì)完成SEO流量。
定時(shí)查看監(jiān)控搜索引擎抓取量變化，歷史數(shù)據(jù)的豎向縱向?qū)Ρ炔拍馨l(fā)現(xiàn)到異常狀況。*的力量第三方站長(zhǎng)平臺(tái)，如百度站長(zhǎng)平臺(tái)，清楚搜索引擎直接抓取頻次變化。*動(dòng)用光年日志分析工具，定期定時(shí)做數(shù)據(jù)記錄，所了解最重要欄目、最重要頁(yè)面的直接抓取量變化。
舉個(gè)栗子：
老站點(diǎn)（建站1年且有人以維護(hù)的網(wǎng)站）：Seo流量再次出現(xiàn)異常波動(dòng)。
分2種情況：
了解外界：打聽(tīng)一下外界的前提只是相對(duì)而言平時(shí)你得有一定的人脈基礎(chǔ)，如果沒(méi)有也沒(méi)也沒(méi)有關(guān)系。泡2個(gè)地方——去搜索引擎站長(zhǎng)平臺(tái)的或參加搜索引擎站長(zhǎng)群。比如，像百度搜索引擎，它手中掌握站長(zhǎng)平臺(tái)，也會(huì)相對(duì)應(yīng)建立站長(zhǎng)群。有人脈基礎(chǔ)上，也可以就知道一點(diǎn)外界的情況——是否需要也又出現(xiàn)類(lèi)似幅度的波動(dòng)？這個(gè)的前提要加強(qiáng)你短期做過(guò)的SEO操作一并決定，盡量避免誤判。少有人脈的情況，泡群、泡站長(zhǎng)平臺(tái)。通常假如是搜索引擎算法升級(jí)，會(huì)在群里或者站長(zhǎng)平臺(tái)有相關(guān)的山道信息會(huì)出現(xiàn)。要是是搜索引擎自身算法生級(jí)導(dǎo)致的流量波動(dòng)，那么就得據(jù)新算法做相對(duì)應(yīng)的站內(nèi)優(yōu)化。諸如，百度冰桶3.0版本提出來(lái)：將嚴(yán)查嚴(yán)打在百度移動(dòng)搜索中，反駁用戶完整搜索路徑的調(diào)起行為。要是站點(diǎn)有存在以下的情況就是需要盡量全面的做優(yōu)化軟件：無(wú)論是實(shí)際兩個(gè)對(duì)接的APPLINK調(diào)起，那就網(wǎng)頁(yè)驚顫調(diào)起的應(yīng)用，和普通地的網(wǎng)頁(yè)，都應(yīng)是可返回，可關(guān)閉的。用戶校驗(yàn)搜索結(jié)果的準(zhǔn)性，不不需要獲得下載APP或則權(quán)限。
分析內(nèi)在：
在分析內(nèi)在的東西前，再次甩出這種公式：Seo流量=抓取量*百度收錄率（詳細(xì)對(duì)于肯定是索引率）*首頁(yè)率*點(diǎn)擊率
。當(dāng)抓取頻次會(huì)出現(xiàn)異樣必定紊亂抓取量的下降。并且，可以排除了外界的因素，就不需要對(duì)網(wǎng)站的日志接受分析。如果沒(méi)有你的站點(diǎn)是中文站點(diǎn)，且是百度站長(zhǎng)平臺(tái)的VIP用戶。那你，你就這個(gè)可以先借助第三方站長(zhǎng)平臺(tái)的“破霸體頻次”工具（如，百度），先了解搜素引擎近期的破霸體頻次、抓取時(shí)間、無(wú)比頁(yè)面。大多的力量那個(gè)工具，我們是可以對(duì)搜索引擎近期直接抓取情況有初步了解，因此是可以動(dòng)用這樣的工具，你所選的找不到一些解決方法。
在此先回答這種概念，方便表述：
1.破霸體頻次：抓取頻次是搜索引擎在單位時(shí)間內(nèi)（天級(jí)）對(duì)網(wǎng)站服務(wù)器抓取的總次數(shù)，假如搜索引擎對(duì)站點(diǎn)的抓取頻次過(guò)高，很可能倒致服務(wù)器不穩(wěn)定，蜘蛛會(huì)根據(jù)網(wǎng)站內(nèi)容更新頻率和服務(wù)器壓力等因素自動(dòng)根據(jù)情況抓取時(shí)間頻次。
（1）抓取時(shí)間頻次上限誤調(diào)，調(diào)底了，則會(huì)再影響大到抓取量會(huì)減少，破霸體量增加則索引量少，流量或者降低。
（2）運(yùn)營(yíng)層面：存在源源不斷亂詞頁(yè)面（情況一：自身網(wǎng)站存在大量重復(fù)的內(nèi)容。情況二：自身網(wǎng)站的內(nèi)容采藥了大量互聯(lián)網(wǎng)已存在的內(nèi)容）。從百度搜索引擎的目標(biāo)向東出發(fā)——搜索引擎我希望直接抓取到更多更合適的頁(yè)面，而你的網(wǎng)站產(chǎn)出的卻是網(wǎng)上泛濫地的內(nèi)容，何苦浪費(fèi)資源在你的網(wǎng)站上？另外，網(wǎng)站內(nèi)容太久不更新。我建議你，有規(guī)律定期能產(chǎn)出品質(zhì)良好內(nèi)容來(lái)能解決此問(wèn)題。抓取時(shí)間變長(zhǎng)，也會(huì)可能導(dǎo)致網(wǎng)站抓取量減少。大多修真者的存在的可能情況是，服務(wù)器速度變慢導(dǎo)致抓取時(shí)間變長(zhǎng)。也有一種很可能是與網(wǎng)站自身結(jié)構(gòu)有關(guān)系。層級(jí)太深造成。
小結(jié)一下：
老站怎么做網(wǎng)站日志分析（因?yàn)橹形恼军c(diǎn)）：外界排除：
打聽(tīng)一下搜索引擎哪個(gè)網(wǎng)站算法如何確定不可能發(fā)生變動(dòng)、同行是否需要也有類(lèi)似于變化。
內(nèi)在的修養(yǎng)分析：
（1）建議使用工具：百度站長(zhǎng)平臺(tái)（非VIP賬戶看后文推薦）
（2）分析方法：主要注意建議使用抓取時(shí)間頻次分析工具并且分析，網(wǎng)站直接抓取頻次、破霸體時(shí)間、極其頁(yè)面情況等數(shù)據(jù)變化。并與相關(guān)部門(mén)參與對(duì)接解決的辦法。
非百度VIP：
步驟：
1.下載網(wǎng)站日志（如果不是是企業(yè)站點(diǎn)，是可以真接讓運(yùn)維部門(mén)的童鞋幫幫忙下載，如果是個(gè)人站長(zhǎng)，再在你所網(wǎng)上購(gòu)買(mǎi)的虛擬主機(jī)后臺(tái)進(jìn)行下載，文件以.log為結(jié)尾的葉白）
2.可以打開(kāi)光年日志分析工具，上傳成功網(wǎng)站日志。
3.查看分析結(jié)果。通常維度有這幾個(gè)：
（1）概況分析：某些爬蟲(chóng)的總直接抓取量、總停留時(shí)間、總訪問(wèn)次數(shù)。
（2）目錄分析：眾多爬蟲(chóng)破霸體各目錄的情況分析。這個(gè)這個(gè)可以了解到搜索引擎對(duì)一些重要欄目的抓取時(shí)間情況，又抓取時(shí)間了都有哪些不生效的頁(yè)面。
（3）頁(yè)面分析：按照頁(yè)面分析這個(gè)可以所了解到經(jīng)常會(huì)被重復(fù)破霸體的頁(yè)面有哪些，是可以或則的做優(yōu)化調(diào)整。比如，像網(wǎng)站的一些注冊(cè)頁(yè)面及登錄頁(yè)面，經(jīng)常會(huì)會(huì)發(fā)現(xiàn)多次被直接抓取，才發(fā)現(xiàn)那種情況，我們通常會(huì)將登入/注冊(cè)頁(yè)面并且被屏蔽處理。
（4）狀態(tài)碼分析主要注意分為2種，爬蟲(chóng)狀態(tài)碼包括用戶狀態(tài)碼。主要注意反應(yīng)用戶/爬蟲(chóng)訪問(wèn)頁(yè)面時(shí)的頁(yè)面狀態(tài)。通過(guò)頁(yè)面狀態(tài)碼，我們是可以知道一點(diǎn)到頁(yè)面狀態(tài)，做或者調(diào)整，如，當(dāng)網(wǎng)站必然大量404頁(yè)面。那你要進(jìn)一步排查，例如，些團(tuán)購(gòu)頁(yè)面，團(tuán)購(gòu)有效期后，頁(yè)面就直接變成404了，但不曾向百度站長(zhǎng)平臺(tái)提交死鏈清單，則很難倒致無(wú)效直接抓取。
官方微信
TOP
