sitemap strategie generace




Mám obrovské místo, s více než 5 milionů url. 


Už jsme PageRank 7/10. Problém je v tom, že z důvodu 5 milionů url a protože jsme přidat / odebrat nové URL denně (přidáme ± 900 a odstraníme ± 300) Google není dostatečně rychle indexovat všechny z nich. Máme obrovský a intenzivní perl modul pro generování tohoto souboru Sitemap, které normálně se skládá ze 6 souborů Sitemap. Google určitě není rychlejší stačí přidat všechny adresy URL, zejména proto, že za normálních okolností bychom znovu všechny ty sitemaps denní a předloží google. Moje otázka zní: co by mělo být lepší přístup? Mám opravdu záleží poslat 5 milionů URL na google každý den, i když vím, že Google nebude moci zpracovat? Nebo bych měl poslat jen permalinks zvyklý, že změny a google prohledávač bude nalezen zbytek, ale aspoň budu mít stručné index na google (dnes mám méně než 200 od 5.000.000 urls indexované)
Jaký je smysl má mnoho indexovaných stránek, které jsou odstraněny ihned? Dočasné stránky jsou bezcenné pro vyhledávače a jejich uživateli poté, co byly odstraněny. Takže bych jít nechat prohledávače vyhledávačů rozhoduje, zda stránka stojí indexování. Jen jim řekni adresy URL, která bude přetrvávat ... a realizovat některé seznam stránek (v případě, že nejsou dosud k dispozici), který umožní vaše stránky, které mají být procházeny jednodušší.


Poznámka pod: 6 sitemap soubory 5m URL? Pokud vím, soubor Sitemap může neobsahují více než 50k URL.
<p>svým způsobem přecházíte na nový web. udržujete produkty, ale v podstatě měníte téměř všechno ostatní: adresy url, interní propojení, html stránek a back-end (software košíku). je nemožné říci, jaké dlouhodobé důsledky by mohly být, aniž bychom znali podrobnosti, ale pokud vám nový software usnadní údržbu vašeho webu, pak vám poskytne čas na vyřešení jakýchkoli vtipků, které by se mohly objevit. jedná se o velký krok, proto jej velmi dobře naplánujte a sledujte každý krok, abyste se ujistili, že funguje podle plánu. pravděpodobně uvidíte poměrně velké výkyvy v indexování a hodnocení, takže se ujistěte, že jste schopni je „spolknout“ (vybrat pomalé období, mít k dispozici nějaký rozpočet na reklamy atd.).</p><ul> <li>změny v obsahu a interním propojení ovlivní vaše hodnocení, alespoň v krátkodobém horizontu.</li> <li>nebojte se o „příliš mnoho přesměrování“ pro celý web, ale ujistěte se, že pro každou adresu url musíte udělat pouze jedno (nepřesměrovat ve více krocích). ujistěte se, že přesměrování (staré adresy url) nejsou zakázána pomocí souboru robots.txt a vyzkoušejte je pomocí nástrojů pro webmastery společnosti google. vyzkoušejte také všechny adresy url, abyste se ujistili, že přesměrují (procházejte starý web pomocí nástroje, jako je xenu, a poté, co máte nastavena přesměrování, zkontrolujte všechny tyto adresy url). ano, je to trochu práce :), ale je lepší o tom mít jistotu. mějte na paměti, že jakmile budou přesměrování nalezena, struktura vašeho webu bude „znovuobjevena“, jako by to bylo u nového webu, takže to určitě něco ovlivní procházení, indexování a hodnocení na chvíli. nastavte soubory sitemap pro staré a nové adresy url a sledujte svůj pokrok v nástrojích pro webmastery. buďte velmi, velmi trpěliví.</li> <li>výhody vs nevýhody ... to je něco, co musíte určit sami. přesun webu, jako je tento, je velkým krokem, přinejmenším musíte naplánovat každý krok a správně nastavit očekávání.</li> </ul><p>možnost jasně sledovat postup (prostřednictvím analytics a počtu indexovaných adres url) vám pomůže zůstat v klidu během pohybu. v každém případě se pokuste nedělat nic drastického, pokud by to trvalo trochu déle - pokud jste si udělali domácí úkoly a technická stránka byla řádně naplánována a testována před přesunem, pak v nejhorším případě budete muset počkat trochu déle, než se očekávalo .</p> <p>budete muset mít docela trochu provozu na vaše stránky, aby si je. pokračujte ve vytváření skvělého obsahu. google těmto lidem nedá snadné.</p><p>ujistěte se, že máte navigaci označenou sémantickým html a do své nabídky vložte id <code>nav</code> nebo <code>navigation</code>. to googlu pomůže zjistit, jaké odkazy jsou vaše navigace. (na rozdíl od seznamu odkazů).</p><p>jakmile je získáte, google vám dá možnost ovládat, jaké odkazy chcete ve svých odkazech na podstránky pomocí nástrojů pro webmastery google.</p><p>neexistuje snadný nebo veřejně známý algoritmus, který vám poskytne odkazy na podstránky. a jsem si jistý, že se algoritmus neustále mění.</p><p><strong>not nots</strong>:</p><ul> <li>nepoužívejte javascript pro odkazy a nabídky.</li> <li>nemysli na to příliš mnoho a dejte mu čas, odkazy na podstránky jsou vzácné.</li> </ul> <p>optimalizace pro google nejčastěji znamená jasnou strukturu stránky, soubory sitemap, vysokou rychlost stránky, dobré příchozí odkazy atd. to samozřejmě optimalizuje pro další vyhledávače. přesto byste se měli alespoň podívat na další hlavní vyhledávače, především bing. dobré umístění na googlu je často také dobrým umístěním ve všech ostatních vyhledávačích.</p> <p>děláme to úplně na <a href="http://smartystreets.com">smartystreets</a> . uživatelé nahrávají soubory s potenciálně miliony adres v nich a my je ověřujeme a standardizujeme/duplikujeme, atd. je to velmi náročné na procesor a dokonce i s kmenovými daty načtenými na jednotku ram, miliony adres zabere několik hodin (mimochodem, pro tuto částku je to velmi rychlé ...).</p><p>může být také důležité navrhnout uživatelské rozhraní, které může podporovat desítky úloh spuštěných paralelně. například naše serverové uzly se rozšiřují a můžeme podporovat mnoho souborů najednou. uživatelé budou potřebovat efektivní způsob, jak zobrazit stav a spravovat je. v roce 2011 jsme vylepšili naše uživatelské rozhraní a to je to, s čím jsme přišli.</p><hr><p> <a href="http://youtu.be/qdjsolatz4u?hd=1">zde je 30sekundové video</a> ukazující, jak celý proces funguje a jak rozhraní reaguje na aktuální stav úlohy (úloh). pokud chcete, můžete vyzkoušet sami od <a href="http://smartystreets.com/account/create">tato stránka</a> (zdarma, nebojte se ...).</p><hr><p>screenshoty pracovního postupu ... trvá asi 30 sekund až několik minut, v závislosti na vašich souborech.</p><p><img src="https://i.stack.imgur.com/egatr.png" alt="upload list"></p><p><em> nahrajte svůj seznam </em></p><p><img src="https://i.stack.imgur.com/kqkb9.png" alt="see the file uploading"></p><p><em> viz nahrání souboru </em></p><p><img src="https://i.stack.imgur.com/zv26q.png" alt="map the fields"></p><p><em> mapujte pole (probíhá automaticky; stačí potvrdit, že automatická mapa byla správná) </em></p><p><img src="https://i.stack.imgur.com/wodst.png" alt="stay up-to-date with the current status"></p><p><em> zůstaňte v kontaktu s tím, co se nyní děje </em></p><hr><p>všimněte si, že jakmile seznam začne zpracovávat, uživatel se může vrátit a nahrát více, které seznamy budou zpracovány paralelně v reálném čase. seznamy lze kdykoli zrušit/smazat a po dokončení je lze stáhnout. pokud byl seznam stažen alespoň jednou, zobrazí se zaškrtnutí.</p><p>toto je vlastně stárnoucí návrh, který plánujeme upgradovat. bude se to cítit spíš jako moderní, responzivní webová aplikace.</p><p>ještě stojí za zmínku, že jsme mnohokrát změnili vzhled stránky „dashboard“ účtu a tento návrh inicioval nejmenší volání/e-maily podpory a zákazníci to rádi viděli na první pohled. první uživatelé mají tendenci shledávat, že se s ním dostanou docela rychle.</p> <p>nedávno jsem měl něco podobného s tabulkou 3,5 milionu řádků. moje aktualizace by nikdy nedokončila. po mnoha experimentech a frustrace jsem konečně našel viníka. ukázalo se, že se jedná o indexy v aktualizované tabulce.</p><p>řešením bylo zrušit všechny indexy v aktualizované tabulce před spuštěním příkazu aktualizace. jakmile jsem to udělal, aktualizace skončila za pár minut. po dokončení aktualizace jsem znovu vytvořil indexy a vrátil se zpět do práce. pravděpodobně vám to v tuto chvíli nepomůže, ale možná někdo, kdo hledá odpovědi.</p><p>nechal bych indexy na stole, ze kterého stahujete data. ten nebude muset nadále aktualizovat žádné indexy a měl by pomoci s hledáním dat, která chcete aktualizovat. na pomalém notebooku to fungovalo dobře.</p> <p>ne, nezáleží na tom, jestli máte tisíce stránek na stejné „úrovni“. viděl jsem weby, které mají veškerý obsah na kořenové úrovni, protože jsou pod dojmem, že to pro seo znamená velký rozdíl. (mimochodem, stránky se řadí dobře, ale nemyslím si, že nedostatek organizace na to nemá vliv.)</p><p>myslím, že struktura, kterou navrhujete, je dobrá, pokud ji mám správně:</p><ul> <li>sada stránek kategorií na <code>/galleries/rabbits</code></li> <li>všechny vstupní stránky obrázků, které se zdají být v jedné složce, například <code>/photos/bunny1</code></li> </ul><p>dobrou alternativou by bylo mít <em>hlavní kategorii</em> spolu s ostatními kategoriemi/značkami. získáte další výhodu v dalším klíčovém slově v adrese url a navíc může být pro uživatele snazší porozumět struktuře webu.</p><p>u výše uvedeného příkladu by „bunny1“ mohl spadat do kategorií „králíci“ a „načechraný“, ale hlavní kategorií by byli „králíci“. pak byste mohli mít tuto strukturu:</p><ul> <li>stránky kategorií <code>/gallery/rabbits/</code> a <code>/gallery/fluffy/</code>, obě zobrazující obrázek „bunny1“.</li> <li>obrázek stránky <code>/gallery/rabbits/bunny1</code></li> </ul> <p>jsem chlap, který provedl všechny prototypy v dynamickém vyhledávání google, a <strong> jsem se zúčastnil&gt; 90% uživatelských studií </strong>, které jsme provedli na googlu. (a pokusím se být neobjektivní!)</p><p>na základě našeho interního testování jsme prošli několika iteracemi prototypů. zjistili jsme, že se současnou implementací opravdu dobře fungovalo to, že účastníci studie (1) viděli výsledky, když psali, a pokračovali v klikání na to, co chtěli, nebo (2) nikdy si nevšimli nic, co se změnilo, protože lovili a klovali na klávesnici, nebo příliš zaneprázdněný pohledem na návrhy. to potvrdilo náš cíl, který by <strong> nebyl příliš rušivý </strong>. samozřejmě, když se velká část stránky změní stejně jako v instantu, uživatelé si nemohou pomoci všimnout změny; důležitá věc je, že by to nemělo zasahovat do jejich úkolu.</p><p>ano, může to pro určité dotazy znamenat, že google pro vás přemýšlí, a věci pro vás automaticky doplňovat. i když se to stává mnohem méně často, než byste si mysleli, ale nakonec si budete pamatovat živěji. pokaždé, když jste ušetřili čas tím, že nemuseli zadávat celý dotaz, nebo protože google navrhl lepší dotaz, než co jste chtěli napsat, nebo protože jste viděli rychlý náhled výsledků a rozhodli se dotaz dále upřesnit - <strong> na všechny tyto instance se snadněji zapomíná </strong>, protože očekáváte, že google tak bude fungovat. zkuste sledovat všechny případy, kdy to pro vás dobře fungovalo, a porovnejte je s tím, kolikrát vám připadalo zvláštní.</p><p>jeden z našich účastníků řekl: <strong> „našel jsem způsob, jak se zeptat na otázku, kterou jsem ani nezvažoval.“ </strong> (doslovně, ze studijního přepisu.) dynamické vyhledávání google pomáhá mnoha uživatelům lépe formulovat svůj dotaz. mnozí z nás si neumí představit, že formulace dotazů je velkým problémem, ale je to tak. instant se to snaží trochu vylepšit.</p><p>minimalizujeme také množství blikání na obrazovce při změně výsledků. vzhledem k realitě síťové latence při zasílání nové sady výsledků ze serveru klientovi se v rozhraní děje spousta černé magie, která se při přechodu výsledků snaží minimalizovat vizuální šum. například, když jsou k dispozici nové výsledky, <strong> staré zmizí rychle přechodem na šedou; naši uživatelé to zaznamenali jako silný ukazatel, že „google přemýšlí“ </strong>; bez toho by si uživatelé neuvědomili, že výsledky jsou odlišné, pokud uprostřed nové stránky výsledků nebyla velká mapa nebo velký obrázek.</p><p>zde je <a href="http://news.cnet.com/8301-30684\_3-20019652-265.html">delší popis uživatelských studií</a> , které jsme provedli.</p> <p>často se vyskytují problémy s nastavením odběrů e-mailů. poskytovatelé hostingu jsou velmi unavení z nevyžádané pošty a často kladou tvrdá omezení na rychlost a objem e-mailů, zejména pro levnější hostingové plány.</p><p>v praxi je taková funkce často realizována za pomoci externí služby. feedburner je populární pro to, protože mnoho lidí ji používá pro kanály stejně a poskytuje slušnou možnost odběru e-mailů.</p><p>zobrazit <a href="http://www.google.com/support/feedburner/bin/answer.py?hl=en&amp;answer=78982">přehled e-mailů feedburner a faq</a> </p> <p>nevěřím, že google říká. bývalo pravda, že <code>test\_param\_1.html</code> bylo lepší než <code>index.php?module=test&amp;param=1</code>, ale nemyslím si, že by tomu tak pro google bylo.</p><p>pokud jsou však vaše 2 příklady stránek velmi podobné, budete chtít na nich použít rel = "canonical", aby google věděl, který z nich je hlavní. jinak bude vaše pagerank rozdělena mezi 2.</p> <p>jako karl vývojář botmap.io odpovídá na otázku, kterou prohledávač podporuje pouze odkazy href. </p><blockquote> <p>ahoj! mají vaše odkazy/kotevní značky atribut href? bot v současné době pouze detekuje a prochází atribut href. můžete ji přidat i v případě, že vaše aplikace úhlová nepoužívá interně. to může být nadbytečné, ale může fungovat jako mezera, dokud nemohu aktualizovat bot, aby tento scénář zvládl.</p> </blockquote><p>vzhledem k tomu, im pomocí routerlinks a nechci změnit svůj kód using hrefs jsem se rozhodl ručně vytvořit soubor sitemap.</p><pre><code>&lt;?xml version="1.0" encoding="utf-8"?&gt; &lt;urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"&gt; &lt;url&gt;&lt;loc&gt;http://margvel.com&lt;/loc&gt;&lt;priority&gt;0.5&lt;/priority&gt;&lt;/url&gt; &lt;url&gt;&lt;loc&gt;http://margvel.com/projects&lt;/loc&gt;&lt;priority&gt;0.5&lt;/priority&gt;&lt;/url&gt; &lt;url&gt;&lt;loc&gt;http://margvel.com/jobs&lt;/loc&gt;&lt;priority&gt;0.5&lt;/priority&gt;&lt;/url&gt; &lt;url&gt;&lt;loc&gt;http://margvel.com/education&lt;/loc&gt;&lt;priority&gt;0.5&lt;/priority&gt;&lt;/url&gt; &lt;url&gt;&lt;loc&gt;http://margvel.com/resume&lt;/loc&gt;&lt;priority&gt;0.5&lt;/priority&gt;&lt;/url&gt; &lt;url&gt;&lt;loc&gt;http://margvel.com/contact&lt;/loc&gt;&lt;priority&gt;0.5&lt;/priority&gt;&lt;/url&gt; &lt;/urlset&gt; </code></pre><p>jediné, co jsem udělal, bylo projít si trasy v úhlu a dát je do xml souboru, jak je zobrazeno výše. </p><p>dal jsem všechny priority priority 0,5, protože je to manuální priorita zvolená mezi 0 - 1,0. neměl jsem žádné preference stránek. </p><p>poznámka - tento přístup je určen pouze pro malé soubory sitemap s malým počtem stránek.</p>