Hub



Ak chcem prevadzkovat hub asi s 500 usermi, aka staci na to minimalna konfiguracia hardware?
kdybych věděl co znamená "prevadzkovat" možná bych ti poradil
<p>myslím, že se to opravdu rozpadne na váš provoz. pomalejší hardware, pomalejší (již pomalejší) generování stránky. není to specifické pro wp, je to stejné pro všechny velké php skripty.</p><p>pokud dostanete serverový hit každou chvíli, jako na dev boxu nebo rodinném blogu, není to žádný velký problém. bude to jen vyplivnout stránky pomaleji. dostanete-li pravidelně souběžné zásahy, vaše stránky se dostanou z webu poměrně snadno.</p><p>všimněte si také, že mnoho low-end sdílené host směšuje více lokalit na low-end hardware. je to samozřejmě ne tak nízké, jako to, na co jste se připojili, ale nečekal bych, že velký rozdíl ve výkonu ve srovnání s přeplněným sdíleným serverem.</p> <p>na vaši otázku neexistuje jednoduchá odpověď, ale zde je několik věcí, na které byste se měli zamyslet.</p><p>zaprvé, měřítko není jediná věc, o kterou se musíme starat. co děláte s vašimi daty je. pokud máte 500 tabulek 30 tb dat a děláte jednoduché oltp s velmi malým počtem hlášení), nemyslím si, že budete mít příliš mnoho problémů "tam jsou 32tb databáze na postgresql tam venku. zároveň se však výkon poněkud sníží, protože to musí zasáhnout disk na všechno. podobně, pokud máte 50 tb, pokud data, ale mají běžně zasaženou sadu asi 100 gb, pak můžete postavte server s dostatečným množstvím ram), abyste tuto část db udrželi v paměti a jste zlatí.</p><p>na druhou stranu, pokud se pokoušíte režim (nejběžnější hodnotu) z 1tb dat, nezáleží na tom, jaký systém používáte, bude to <em> bolestivé </em> s nebo bez střepů. (edit: sharding může ve skutečnosti tento problém zhoršit <em>. </em>)</p><p>mezi hlavní problémy, s nimiž se setkáte s obrovskými db na mysql a postgresql, patří skutečnost, že ani nepodporuje paralelismus dotazování. jinými slovy, dotaz je spuštěn jako jeden blok jedním vláknem a nelze jej rozdělit na kousky a spustit samostatně. toto je nejčastěji problém při spouštění velkých analytických dotazů na velké množství dat. to je místo, kde postgres-xc a green plum přicházejí k záchraně, protože oddělují úložiště od provádění, a mohou tak učinit na úrovni koordinátora. všimněte si, že postgres-xc a green plum v zásadě používají střepiny interně, ale koordinátoři prosazují veškerou konzistenci globálně.</p><p>s paralelizací dotazování můžete dotaz rozdělit, mít různé procesory/diskové i/o kanály spouštět jeho části a vykazovat zpětné části sady výsledků, které mají být sestaveny, a předány zpět do aplikace. to je opět velmi užitečné při analytickém namísto zpracování transakcí.</p><p>druhou věcí je, že některé systémy, například vertica nebo greenplum, uchovávají sloupce informací společně. to ztěžuje použití systému z perspektivy oltp) a snižuje tam výkon, ale drasticky zvyšuje výkon pro velké analytické pracovní zatížení. jedná se tedy o kompromis specifický pro pracovní vytížení.</p><p>odpověď je, že jakmile se dostanete nad 1-2 tb ve velikosti, kterou můžete <em>, můžete </em>, ocitnout se tváří v tvář číslu kompromisů mezi systémy a pracovním zatížením. opět je to specifické pro databáze, velikost pracovních sad atd. nicméně v tomto bodě musíte opravdu jít se systémy sněhové vločky, tj. systémy jedinečné a přizpůsobené vašemu pracovnímu zatížení.</p><p>to samozřejmě znamená, že limity nejsou obecně kvantifikovatelné.</p><p><strong>pravit</strong>: nyní jsem pracoval s 9tb databází, která zpracovává směs pracovní podpory při rozhodování a transakčního zpracování v postgresql. jedinou největší výzvou je, že pokud máte otázky, které zasáhly velkou část sady dat, budete muset chvíli počkat na odpověď.</p><p>nicméně s pečlivou pozorností k základům (včetně indexů, autovaku, jak tyto fungují na nízké úrovni atd.) a dostatečným výpočetním prostředkům, jsou zcela zvládnutelné (a odhaduji, že by dobře zvládnutelné do rozsahu 30tb v pg).</p><p><strong>edit2</strong>: jakmile se vydáte na 100 tb, i když to, co bude fungovat, bude záviset na vašem datovém souboru. momentálně pracuji na jednom, který se do tohoto rozsahu nevejde, protože to nejprve zasáhne limit 32 tb v tabulce v postgresql.</p> <p>aby k tomu došlo, musíte použít několik modulů, které pracují společně.</p><p>vývoj seed mělo zajímavé demo pomocí openid, pubsubhub a feeds. podrobně je na <a href="http://developmentseed.org/blog/2010/mar/02/simple-sign-openid">http://developmentseed.org/blog/2010/mar/02/simple-sign- openid</a> </p><p>lordgův komentář k: huby jsou přesně to, co udělali.</p> Záleží hlavně na grafické kartě, tato hra vyžaduje minimálně: Nvidia 7900 256MB alebo ATI X1900 256MB.

Nicméně na grafických kartách v noteboocích nemusí fungovat korektně. <h1>řešení ubuntu/linux</h1><h2>1. získejte nejnovější obrázek</h2><p>měli byste to udělat s <a href="https://launchpad.net/ubuntu/+source/testdrive">testdrive</a> <a href="http://apt.ubuntu.com/p/testdrive"><img src="https://hostmar.co/software-small" alt="install testdrive"></a> .</p><p><img src="https://i.stack.imgur.com/rj1n8.png" alt="testdrive"></p><p><strong> poznámka. </strong> pokud je váš klíč menší než 4,4 gb (pro ubuntu 11.04 (natty narwhal)), musíte <strong> musíte </strong> získat alternativní instalační program. pokud je na disku méně než 4,4 gb volného místa, instalační program desktop odmítne pokračovat.</p><h2>2. naformátujte disk usb.</h2><p>to je důležité, pokud již máte na disku něco, co vypadá jako instalace systému linux, nebo se instalační program z nějakého důvodu nebude chtít dotknout tohoto disku. dříve jsem selhal, protože jsem tento krok neprovedl, takže přeskočte na vlastní nebezpečí! potřebujete klíč o velikosti alespoň 3 gb.</p><p>můžete tak učinit z <em> systému </em> → <em> administrace </em> → <em> nástroj disk </em>. vyberte cílový klíč usb, odpojte všechny oddíly a vyberte <em> formátovat jednotku. </em></p><p><img src="https://i.stack.imgur.com/wnna7.png" alt="disk utility"></p><p>než budete moci formátovat disk, musíte se ujistit, že jste vybrali „don't partition“.</p><p><img src="https://i.stack.imgur.com/gkwf2.png" alt="format drive window."></p><h2>3. spusťte virtuální počítač na klíči usb</h2><p>ujistil jsem se (s <code>file</code>), že můj usb klíč byl v <code>/dev/sdb</code>, pak běžel:</p><pre><code>sudo qemu-system-x86\_64 /dev/sdb -cdrom ~/.cache/testdrive/iso/ubuntu\_natty-desktop-i386.iso </code></pre><p>... chcete-li nainstalovat iso i386 na ploše natty narwhal - název souboru se bude lišit, pokud stáhnete jiný obrázek iso.</p><p>podrobnosti zvoleného virtualizačního řešení se budou lišit, ale jako pevný disk vm budete chtít použít soubor zařízení <em> vašeho klíče usb </em>.</p><p>připojit <code>-boot order=d</code> k příkazu kvm, aby byl spouštěn z obrazu v případě, že se pokusí zavést systém z 'pevného disku' a selže, protože tam nemůže najít operační systém.</p><h2>4. instalujte normálně.</h2><p>v tuto chvíli pracujete na virtuálním počítači, který považuje váš klíč usb za jediný připojený pevný disk. zevnitř okna „qemu“ nainstalujte, jak byste normálně dělali.</p><p>několik poznámek:</p><ul> <li> <p><strong> dělení diskových oddílů </strong> nepoužívejte automatický systém dělení diskových oddílů, protože na vašem usb klíči vytvoří odkládací oddíl. to není dobré, protože přepínání se stává <em> super </em> pomalým (systém s dlouhými sekundami zamrzne) a rychle zabíjí život vašeho disku. jednoduše přidělte jeden oddíl pro <code>/</code>. pokud používáte alternativní instalační program, nezapomeňte nastavit příznak <code>noatime</code>, aby se dále snížilo množství zápisů na disk.</p> </li> <li> <p><strong> aktualizace </strong> přeskočte možnost automatického stahování a instalace aktualizací. není zaručeno, že repozitáře budou v době spuštění instalačního programu v konzistentním stavu. osobně bych raději spravoval upgrady ručně pomocí nástroje, jako je <a href="https://help.ubuntu.com/8.04/serverguide/c/aptitude.html">aptitude</a> (který se ve výchozím nastavení s ubuntu již nedodává).</p> </li> <li> <p><strong> alpha-kvalitní software. </strong> věci jsou trochu zvratné - je to nakonec software v alfa kvalitě. nechal jsem <code>dpkg</code> opouštět s chybovým kódem 1, aniž bych musel chybu zkontrolovat - v důsledku toho však nebyly rozbity žádné balíčky. po nastavení jsem se pokusil virtuální počítač vypnout, ale visel. po restartu se však systém zavedl dobře.</p> </li> </ul><h2>5. restartujte a spusťte do své kopie ubuntu</h2><p>možná bude nutné, abyste si osvojili nastavení systému bios, abyste to mohli provést.</p><hr><p>pěkná (nebo nepříjemná věc na základě vašeho případu použití) o ubuntu na usb je, že až příště obnoví grub, také detekuje a přidá do seznamu jádra a operační systémy na hdd. to by vám mělo umožnit zavedení přímo na váš hdd z grub vašeho usb klíče.</p> <p>provozoval jsem systém s nejlepší částí z tisíce databází rozložených na více serverech. všechny byly identické struktury a byly synchronizovány s databází šablon, která byla na každém počítači.</p><p>to mi umožnilo migrovat databáze z jednoho db na druhý, pokud by se jeden příliš přetěžoval, a když se změnil klientský mix, mohl jsem na různých serverech vytvářet nové databáze, abych mohl načíst rovnováhu mezi servery. to byla největší výhoda, kterou jsem získal od systému, v tom, že jsem měl na několika samostatných serverech několik velkých kusů cínu, které prováděly více komplikovaných dotazů současně.</p><p>skvělá věc je, že můžete do konfigurace přidat servery svou vlastní rychlostí, protože každý server se začíná přetížit, přidat další do mixu, přenést některé dbs na nový server a skončit pěkně načíst vyváženou sadu serverů. opravdu pěkný a jednoduchý způsob, jak přidat měřítko do systému, kdykoli je to potřeba!</p><p>důvodem, proč jsem šel s tímto přístupem spíše než s jediným obrovským databázovým přístupem, byla naprostá velikost potenciální databáze, která by byla vytvořena ... každá z 1000 databází měla 200 tabulek a mnoho jednotlivých tabulek v každé z databáze obsahovaly mnoho stovek <strong>milionů</strong> řádků dat!</p><p>konfigurace jediné databáze by vyžadovala, aby určité tabulky (přibližně 8 z nich) měly více miliard řádků dat a celková velikost db by byla přes 10tb. podařilo se nám mít více serverů s 5tb úložiště raid 10, s mnoha databázemi na každém.</p><p>to bych udělal! doufám, že to pomůže vašemu rozhodování ... :)</p> <p>můžete se podívat do <code>/sys/block</code>:</p><pre><code>-bash-3.2$ ls -ld /sys/block/sd*/device lrwxrwxrwx 1 root root 0 jun 8 21:09 /sys/block/sda/device -&gt; ../../devices/pci0000:00/0000:00:1f.2/host0/target0:0:0/0:0:0:0 lrwxrwxrwx 1 root root 0 jun 8 21:10 /sys/block/sdb/device -&gt; ../../devices/pci0000:00/0000:00:1f.2/host1/target1:0:0/1:0:0:0 lrwxrwxrwx 1 root root 0 jun 8 21:10 /sys/block/sdc/device -&gt; ../../devices/pci0000:00/0000:00:1f.2/host2/target2:0:0/2:0:0:0 lrwxrwxrwx 1 root root 0 jun 8 21:10 /sys/block/sdd/device -&gt; ../../devices/pci0000:00/0000:00:1f.2/host3/target3:0:0/3:0:0:0 </code></pre><p>nebo pokud nemáte <code>/sys</code>, můžete se podívat na <code>/proc/scsi/scsi</code>:</p><pre><code>-bash-3.2$ cat /proc/scsi/scsi attached devices: host: scsi0 channel: 00 id: 00 lun: 00 vendor: ata model: st31000340as rev: sd1a type: direct-access ansi scsi revision: 05 host: scsi1 channel: 00 id: 00 lun: 00 vendor: ata model: st31000340as rev: sd1a type: direct-access ansi scsi revision: 05 host: scsi2 channel: 00 id: 00 lun: 00 vendor: ata model: st31000340as rev: sd1a type: direct-access ansi scsi revision: 05 host: scsi3 channel: 00 id: 00 lun: 00 vendor: ata model: st31000340as rev: sd1a type: direct-access ansi scsi revision: 05 host: scsi4 channel: 00 id: 00 lun: 00 vendor: pepperc model: virtual disc 1 rev: 0.01 type: cd-rom ansi scsi revision: 03 </code></pre> <pre><code>sudo apt update sudo apt install ssh sudo ufw allow 22 # if you have ufw running, but it doesn't hurt to run. </code></pre><p>to je velmi minimum. umožňuje neomezený počet neúspěšných pokusů o heslo na známém portu. přímé přihlášení root je zakázáno (po přihlášení se stále můžete <code>su</code> a <code>sudo</code>). pokud je vaše uživatelské jméno a heslo hádatelné a internet vidí server, někdo <em> se nakonec </em> vnikne.</p><p>nemohu to dostatečně zdůraznit: <strong> <em> je třeba zatvrdit výchozí nastavení. </em> </strong> pro pravděpodobnost, že budou napadeni, ale <a href="https://thepcspy.com/read/making-ssh-secure/">prošel jsem několika návrhy na svém blog</a> . alespoň bych navrhl:</p><ul> <li>přihlášení pomocí klíčů. zakázat přihlášení heslem.</li> <li>přesuňte jej z portu 22. použijte něco šíleného v rozsahu 20000-60000.</li> <li>použijte <code>fail2ban</code> zakazovat lidem, kteří to najdou, a pokusit se to přenést.</li> </ul><p>zabere vám to méně než 10 minut a oni vás vezmou z 1/10000 šance, že se dostanou do pravděpodobnosti tak malé, že na světě není dost papíru, aby mohl napsat její zlomek. vše za předpokladu, že jste opatrní s vaším klíčem, má vlastní přístupové fráze a vy nebudete trubat vaše pověření po celé síti.</p><p>pokud jde o přístup k tomuto serveru ssh z internetu, můžete čelit překážkám v místní síti. pokud je počítač za routerem nat (např. většina domácích sítí) bez přímého příchozího přístupu z internetu, možná budete muset podívat na <a href="https://portforward.com/">přesměrování portů</a> . samozřejmě, pokud nepotřebujete přístup mimo síť, přeskočení tohoto kroku zajistí zabezpečení sítě.</p> <p>v plánech provádění byste se neměli příliš spoléhat na procenta nákladů. jedná se o <em> vždy odhadované náklady</em>, a to i v plánech po provedení s „skutečnými“ čísly pro věci, jako je počet řádků. odhadované náklady jsou založeny na modelu, který funguje velmi dobře pro účel, pro který je určen: umožnění optimalizátoru zvolit mezi různými plány provádění kandidátů pro stejný dotaz. informace o nákladech jsou zajímavé a faktor, který je třeba zvážit, ale zřídka by měla být primární metrikou pro ladění dotazů. interpretace informací plánu provádění vyžaduje širší pohled na prezentovaná data.</p><p><strong> itemtran clustered index seek operator </strong></p><p><img src="https://i.stack.imgur.com/lvet6.jpg" alt="itemtran clustered index seek"></p><p>tento operátor jsou skutečně dvě operace v jednom. nejprve operace vyhledávání indexu najde všechny řádky, které odpovídají predikátu <code>product\_code\_v42 = 'm10bolt'</code>, pak každý řádek použije zbytkový predikát <code>bit\_field\_v41 &amp; 4 = 0</code>. dochází k implicitní konverzi <code>bit\_field\_v41</code> z jejího základního typu (<code>tinyint</code> nebo <code>smallint</code>) na <code>integer</code>.</p><p>k převodu dochází, protože <a href="https://msdn.microsoft.com/en-us/library/ms174965.aspx">bitový operátor and</a> (&amp;) vyžaduje, aby oba operandy byly stejného typu. implicitní typ konstantní hodnoty '4' je celé číslo a <a href="https://msdn.microsoft.com/en-us/library/ms190309.aspx">pravidla priority datového typ</a> znamená, že je převedena hodnota pole <code>bit\_field\_v41</code> s nižší prioritou.</p><p>problém (jako je) se snadno opraví zápisem predikátu jako <code>bit\_field\_v41 &amp; convert(tinyint, 4) = 0</code> - což znamená, že konstantní hodnota má nižší prioritu a je převedena (během konstantního skládání) spíše než hodnota sloupce. pokud je <code>bit\_field\_v41</code> <code>tinyint</code>, nedojde k žádné konverzi. podobně lze použít funkci <code>convert(smallint, 4)</code>, pokud <code>bit\_field\_v41</code> je <code>smallint</code>. to znamená, že v tomto případě <em> převod není problém s výkonem</em>, ale stále je dobrým zvykem porovnávat typy a vyhýbat se implicitním převodům tam, kde je to možné.</p><p>hlavní část odhadovaných nákladů na toto hledání je až do velikosti základní tabulky. zatímco seskupený klíč indexu je sám o sobě poměrně úzký, velikost každého řádku je velká. definice tabulky není uvedena, ale pouze sloupce použité v pohledu přidávají významnou šířku řádku. protože seskupený index zahrnuje všechny sloupce, vzdálenost mezi seskupenými klíči indexu je šířka <em> řádek</em>, nikoli šířka <em> indexové klíče</em>. použití přípon přípon verzí v některých sloupcích naznačuje, že skutečná tabulka obsahuje ještě více sloupců pro předchozí verze.</p><p>když se podíváme na sloupce vyhledávání, zbytkového predikátu a výstupu, výkon tohoto operátora lze zkontrolovat izolovaně vytvořením ekvivalentního dotazu (<code>1 &lt;&gt; 2</code> je trik, který zabraňuje auto-parametrizaci, rozpor je odstraněn optimalizátorem a nezobrazí se v plánu dotazů):</p><pre><code>select it.booking\_no\_v32, it.qtycheckedout, it.qtyreturned, it.trans\_qty, it.trans\_type\_v41 from dbo.tblitemtran as it where 1 &lt;&gt; 2 and it.product\_code\_v42 = 'm10bolt' and it.bit\_field\_v41 &amp; convert(tinyint, 4) = 0; </code></pre><p>výkon tohoto dotazu se studenou datovou mezipamětí je zajímavý, protože čtení (forward) by bylo ovlivněno fragmentací tabulky (seskupený index). klastrovací klíč pro tuto tabulku vyzývá k fragmentaci, takže by mohlo být důležité tento index pravidelně udržovat (reorganizovat nebo znovu sestavovat) a pomocí vhodného <code>fillfactor</code> umožnit místo pro nové řádky mezi okny údržby indexů.</p><p>provedl jsem test účinku fragmentace na čtení předem pomocí vzorových dat generovaných pomocí <a href="https://www.red-gate.com/products/sql-development/sql-data-generator/">sql data generator</a> . při použití stejného počtu řádků tabulky, jaké jsou uvedeny v plánu dotazů na otázku, vyústil vysoce fragmentovaný klastrovaný index do <code>select * from view</code> po 15 sekundách po <code>dbcc dropcleanbuffers</code>. stejný test za stejných podmínek s čerstvě obnoveným seskupeným indexem v tabulce itemtrans byl dokončen za 3 sekundy.</p><p>pokud jsou data tabulky obvykle zcela v mezipaměti, je problém fragmentace mnohem méně důležitý. ale i při nízké fragmentaci mohou široké řádky tabulky znamenat, že počet logických a fyzických čtení je mnohem vyšší, než by se dalo očekávat. můžete také experimentovat s přidáním a odebráním explicitního <code>convert</code>, abyste potvrdili mé očekávání, že implicitní problém s převodem zde není důležitý, s výjimkou porušení doporučených postupů.</p><p>více k tomuto bodu je odhadovaný počet řádků opouštějících operátora vyhledávání. odhad času optimalizace je 165 řádků, ale v době provedení bylo vyrobeno 4 226 kusů. k tomuto bodu se vracím později, ale hlavním důvodem nesrovnalosti je to, že selektivita zbytkového predikátu (zahrnující bitový-and) je pro optimalizátor velmi obtížná předvídat - ve skutečnosti se uchyluje k hádání.</p><p><strong> operátor filtru </strong></p><p><img src="https://i.stack.imgur.com/mayng.jpg" alt="filter operator"></p><p>zobrazuji zde predikát filtru většinou, abych ilustroval, jak jsou dva seznamy <code>not in</code> kombinovány, zjednodušeny a poté rozšířeny, a také poskytuji odkaz pro následující diskusi o hašovacích zápasech. testovací dotaz z požadavku lze rozšířit tak, aby zahrnoval jeho účinky a určoval vliv operátora filtru na výkon:</p><pre><code>select it.booking\_no\_v32, it.trans\_type\_v41, it.trans\_qty, it.qtyreturned, it.qtycheckedout from dbo.tblitemtran as it where it.product\_code\_v42 = 'm10bolt' and it.bit\_field\_v41 &amp; convert(tinyint, 4) = 0 and ( ( it.trans\_type\_v41 not in (2, 3, 6, 7, 18, 19, 20, 21, 12, 13, 22) and it.trans\_type\_v41 not in (6, 7) ) or ( it.trans\_type\_v41 not in (6, 7) ) or ( it.trans\_type\_v41 in (6, 7) and it.qtycheckedout = 0 ) or ( it.trans\_type\_v41 in (6, 7) and it.qtycheckedout &gt; 0 and it.trans\_qty - (it.qtycheckedout - it.qtyreturned) &gt; 0 ) ); </code></pre><p>operátor compute scalar v plánu definuje následující výraz (samotný výpočet je odložen, dokud není výsledek vyžadován pozdějším operátorem):</p><pre><code>[expr1016] = (trans\_qty - (qtycheckedout - qtyreturned)) </code></pre><p><strong> hash match operator </strong></p><p>provádění spojení na datových typech znaků není důvodem vysokých odhadovaných nákladů tohoto operátora. popis ssms zobrazuje pouze položku hash keys probe probe, ale důležité detaily jsou v okně ssms properties.</p><p>operátor hash match vytvoří hašovací tabulku s použitím hodnot ve sloupci <code>booking\_no\_v32</code> (build hash keys!) z tabulky itemtran a poté zkoumá shody pomocí sloupce <code>booking\_no</code> (hash keys probe) od tabulka rezervace. popisek ssms by také normálně zobrazoval zbytky sondy, ale text je příliš dlouhý na popis a je jednoduše vynechán.</p><p>rezidua sondy je podobná zbytku pozorovanému po hledání indexu dříve; zbytkový predikát je vyhodnocen na všech řádcích, které hash odpovídají, aby se určilo, zda by měl být řádek předán nadřazenému operátorovi. nalezení hash zápasů v dobře vyvážené hashovací tabulce je extrémně rychlé, ale použití komplexního zbytkového predikátu na každý řádek, který odpovídá, je při porovnání poměrně pomalé. popisek hash match v aplikaci plan explorer zobrazuje podrobnosti, včetně zbytkového výrazu probe:</p><p><img src="https://i.stack.imgur.com/c1nkp.jpg" alt="hash match operator"></p><p>zbytkový predikát je složitý a zahrnuje kontrolu stavu průběhu rezervace, když je sloupec k dispozici v tabulce rezervací. popisek také ukazuje stejný nesoulad mezi odhadovanými a skutečnými počty řádků viděnými dříve v hledání indexu. může se zdát podivné, že většina filtrování se provádí dvakrát, ale je to jen optimistický optimalizátor. neočekává, že části filtru, které lze posunout dolů ze zbytku sondy, odstraní všechny řádky (odhady počtu řádků jsou před a za filtrem stejné), ale optimalizátor ví, že by to mohlo být špatné. pravděpodobnost brzkého filtrování řádků (snížení nákladů na spojení hash) stojí za malou cenu extra filtru. celý filtr nelze posunout dolů, protože obsahuje test na sloupci z tabulky rezervací, ale většinou to může být. úplný test je stále vyžadován v testu zbytkové hodnoty hash pro správnost.</p><p>podceňování počtu řádků je problém pro operátora hash match, protože množství paměti rezervované pro hashovací tabulku je založeno na odhadovaném počtu řádků. pokud je paměť příliš malá pro velikost hashovací tabulky požadované v době běhu (kvůli většímu počtu řádků), hashova tabulka <strong> rekurzivně rozlévá </strong> na fyzickou <em> tempdb</em> úložiště, což často vede k velmi slabému výkonu. v nejhorším případě prováděcí motor zastaví rekurzivní rozlití hashovacích kbelíků a uchytí se k algoritmu <em> velmi pomalý</em> rozlití hash (rekurzivní nebo záchranná opatření) je nejpravděpodobnější příčinou problémů s výkonem nastíněných v otázce (nikoli sloupců spojení typu nebo implicitních konverzí). hlavní příčinou by byl server rezervující příliš málo paměti pro dotaz na základě nesprávného odhadu počtu řádků (kardinality).</p><p>je smutné, že před sql server 2012 není v plánu provádění naznačeno, že operace hašování překročila přidělení paměti (které nemůže být dynamicky růst po rezervování před spuštěním spuštění, i když má server velké množství volné paměti) a musela se přelít do tempdb. je možné monitorovat <a href="https://msdn.microsoft.com/en-us/library/ms190736.aspx">hash warning event class</a> pomocí profiler, ale může být obtížné korelovat varování s konkrétním dotazem.</p><p><strong> oprava problémů </strong></p><p>těmito třemi problémy jsou fragmentace, zbytková složka sondy v operátorovi hašovací shody a nesprávný odhad mohutnosti vyplývající z hádání při hledání indexu.</p><p><strong> doporučené řešení </strong></p><p>zkontrolujte fragmentaci a v případě potřeby ji opravte, naplánujte údržbu tak, aby index zůstal přijatelně organizovaný. obvyklý způsob, jak opravit odhad kardinality, je poskytnout statistiku. v takovém případě optimalizátor potřebuje statistiku kombinace (<code>product\_code\_v42</code>, <code>bitfield\_v41 &amp; 4 = 0</code>). nemůžeme vytvořit statistiky výrazu přímo, takže musíme nejprve vytvořit vypočítaný sloupec pro výraz bitového pole a poté vytvořit manuální statistiku více sloupců:</p><pre><code>alter table dbo.tblitemtran add bit3 as bit\_field\_v41 &amp; convert(tinyint, 4); create statistics [stats dbo.itemtran (product\_code\_v42, bit3)] on dbo.tblitemtran (product\_code\_v42, bit3); </code></pre><p>definice vypočteného sloupcového textu se musí přesně shodovat s textem v definici pohledu, aby se statistika mohla použít, takže by se mělo korigovat zobrazení, aby se vyloučila implicitní konverze, a současně by se mělo dbát na to, aby byla zajištěna shoda textu.</p><p>statistiky ve více sloupcích by měly vést k mnohem lepším odhadům, což výrazně snižuje pravděpodobnost, že operátor hashovací metody použije rekurzivní rozlití nebo algoritmus výpomoci. přidání vypočítaného sloupce (což je operace pouze s metadaty a nezabere žádné místo v tabulce, protože není označeno <code>persisted</code>) a statistika více sloupců je můj nejlepší odhad při prvním řešení.</p><p>při řešení problémů s výkonem dotazů je důležité měřit věci jako uplynulý čas, využití procesoru, logická čtení, fyzická čtení, typy čekání a doby trvání atd. atd. může být také užitečné spustit části dotazu samostatně pro ověření podezření na příčiny, jak je uvedeno výše.</p><p>v některých prostředích, kde není nejdůležitější pohled na data, může být užitečné spustit proces na pozadí, který zhmotňuje celý pohled do tabulky snímků každou tak často. tato tabulka je pouze normální základní tabulka a lze ji indexovat pro čtení dotazů, aniž byste se museli starat o dopad na výkon aktualizace.</p><p><strong> zobrazit indexování </strong></p><p>nenechte se v pokušení přímo indexovat původní pohled. výkon čtení bude úžasně rychlý (jediné hledání v pohledu indexu), ale (v tomto případě) budou všechny problémy s výkonem ve stávajících plánech dotazů přeneseny do dotazů, které upravují všechny sloupce tabulky, na které se v pohledu odkazuje. dotazy, které mění řádky základní tabulky, budou skutečně ovlivněny velmi špatně.</p><p><strong> pokročilé řešení s částečným indexovaným pohledem </strong></p><p>pro tento konkrétní dotaz existuje částečné řešení indexovaného pohledu, které opravuje odhady kardinality a odstraňuje zbytky filtru a sondy, ale je založeno na některých předpokladech o datech (většinou můj odhad na schématu) a vyžaduje odbornou implementaci, zejména pokud jde o vhodné indexy pro podporu plánů údržby indexovaných pohledů. sdílím níže uvedený kód pro zájem, nenavrhuji, abyste jej implementovali bez <em> velmi opatrní</em> analýzy a testování.</p><pre><code>-- indexed view to optimize the main view create view dbo.v1 with schemabinding as select it.id, it.product\_code\_v42, it.trans\_type\_v41, it.booking\_no\_v32, it.trans\_qty, it.qtyreturned, it.qtycheckedout, it.qtyreserved, it.bit\_field\_v41, it.prep\_on, it.from\_locn, it.trans\_to\_locn, it.pdate, it.firstdate, it.ptimeh, it.ptimem, it.retndate, it.bookdate, it.timebookedh, it.timebookedm, it.timebookeds, it.del\_time\_hour, it.del\_time\_min, it.return\_to\_locn, it.return\_time\_hour, it.return\_time\_min, it.assignto, it.assigntype, it.inrack from dbo.tblitemtran as it join dbo.tblbookings as tb on tb.booking\_no = it.booking\_no\_v32 where ( it.trans\_type\_v41 not in (2, 3, 7, 18, 19, 20, 21, 12, 13, 22) and it.trans\_type\_v41 not in (6, 7) and it.bit\_field\_v41 &amp; convert(tinyint, 4) = 0 ) or ( it.trans\_type\_v41 not in (6, 7) and it.bit\_field\_v41 &amp; convert(tinyint, 4) = 0 and tb.bookingprogressstatus = 1 ) or ( it.trans\_type\_v41 in (6, 7) and it.bit\_field\_v41 &amp; convert(tinyint, 4) = 0 and it.qtycheckedout = 0 ) or ( it.trans\_type\_v41 in (6, 7) and it.bit\_field\_v41 &amp; convert(tinyint, 4) = 0 and it.qtycheckedout &gt; 0 and it.trans\_qty - (it.qtycheckedout - it.qtyreturned) &gt; 0 ); go create unique clustered index cuq on dbo.v1 (product\_code\_v42, id); go </code></pre><p>existující pohled se vyladil, aby používal indexované zobrazení výše:</p><pre><code>create view [dbo].[vwreallyslowview2] as select i.booking\_no\_v32 as bkno, i.trans\_type\_v41 as trantype, b.assigned\_to\_v61 as assignbk, b.order\_date as dateo, b.hourbooked as hbooked, b.minbooked as mbooked, b.secbooked as sbooked, i.prep\_on as pon, i.from\_locn as flocn, i.trans\_to\_locn as ttlocn, case i.prep\_on when 'y' then i.pdate else i.firstdate end as prdate, i.ptimeh as prtimeh, i.ptimem as prtimem, case when i.retndate &lt; i.firstdate then i.firstdate else i.retndate end as rdatev, i.bit\_field\_v41 as bitfield, i.firstdate as fdatev, i.bookdate as dbooked, i.timebookedh as tbookh, i.timebookedm as tbookm, i.timebookeds as tbooks, i.del\_time\_hour as dth, i.del\_time\_min as dtm, i.return\_to\_locn as rtlocn, i.return\_time\_hour as rth, i.return\_time\_min as rtm, case when i.trans\_type\_v41 in (6, 7) and i.trans\_qty &lt; i.qtycheckedout then 0 when i.trans\_type\_v41 in (6, 7) and i.trans\_qty &gt;= i.qtycheckedout then i.trans\_qty - i.qtycheckedout else i.trans\_qty end as trqty, case when i.trans\_type\_v41 in (6, 7) then 0 else i.qtycheckedout end as myqtycheckedout, case when i.trans\_type\_v41 in (6, 7) then 0 else i.qtyreturned end as retqty, i.id, b.bookingprogressstatus as bkprog, i.product\_code\_v42, i.return\_to\_locn, i.assignto, i.assigntype, i.qtyreserved, b.deprepon, case b.deprepon when 1 then b.deprepdatetime else i.retndate end as deprepdatetime, i.inrack from dbo.v1 as i with (noexpand) join dbo.tblbookings as b on b.booking\_no = i.booking\_no\_v32 join dbo.tblinvmas as m on i.product\_code\_v42 = m.product\_code; </code></pre><p>příklad dotazu a plán provedení:</p><pre><code>select vrsv.* from dbo.vwreallyslowview2 as vrsv where vrsv.product\_code\_v42 = 'm10bolt'; </code></pre><p><img src="https://i.stack.imgur.com/vg5cz.jpg" alt="new execution plan"></p><p>v novém plánu má hash shoda <em> žádný zbytkový predikát</em>, existuje <em> žádný složitý filtr</em>, <em> žádný zbytkový predikát</em> zapnuto hledat indexované zobrazení a <em> odhady kardinality</em> jsou přesně správné.</p><p>jako příklad toho, jak by byly ovlivněny plány vložení/aktualizace/odstranění, je to plán vložení do tabulky itemtrans:</p><p><img src="https://i.stack.imgur.com/kffk5.jpg" alt="insert plan"></p><p>zvýrazněná část je nová a vyžaduje se pro údržbu indexovaného pohledu. cívka tabulky nahradí vložené řádky základních tabulek pro údržbu indexovaného pohledu. každý řádek je spojen s tabulkou rezervací pomocí hledání seskupeného indexu, poté filtr použije složité predikáty klauzule <code>where</code>, aby se zjistilo, zda je třeba řádek přidat do pohledu. pokud ano, provede se vložení do seskupeného indexu pohledu.</p><p>stejný test <code>select * from view</code> provedený dříve byl dokončen za 150 ms s indexovaným pohledem na místě.</p><p>poslední věc: všiml jsem si, že váš server 2008 r2 je stále v rtm. neopraví to vaše problémy s výkonem, ale <a href="https://www.microsoft.com/en-us/download/details.aspx?id=30437">service pack 2 pro 2008 r2</a> je k dispozici od července 2012 a existuje mnoho dobrých důvodů, jak udržet co nejaktuálnější s aktualizacemi service pack.</p> <h1>vysílejte zvuk pomocí icecast2</h1><hr><h2>1. nainstalujte <a href="http://packages.ubuntu.com/icecast2">icecast2</a> <a href="http://apt.ubuntu.com/p/icecast2"><img src="https://i.imgur.com/cezqj.png" alt="install icecast2"></a> </h2><hr><h2>2. upravte konfiguraci icecast2</h2><p>otevřete soubor <code>/etc/icecast2/icecast.xml</code> jako root v editoru. z bezpečnostních důvodů byste měli nastavit hesla v <code>&lt;authentication&gt;</code> sekce:</p><pre><code>&lt;admin-user&gt;admin&lt;/admin-user&gt; &lt;admin-password&gt;hackme&lt;/admin-password&gt; </code></pre><p>pokud jste změnili <code>&lt;source-password&gt;</code> nebo <code>&lt;relay-password&gt;</code> musíte to udělat také na straně zdroje nebo relé. to znamená, že ji necháte výchozí nebo ji změníte také v souboru ices2.xml (viz níže). totéž bude třeba provést v konfiguračních souborech ices nebo darkice.</p><p>musíte také definovat název hostitele, na který lze dosáhnout vašeho proudu:</p><pre><code>&lt;hostname&gt;localhost&lt;/hostname&gt; </code></pre><p>pokud chcete streamovat pouze v místní síti, ponechte jej jako <em> localhost</em> (není třeba tam poskytovat rozlišenou ip adresu). výchozí port pro poslech je 8000. změňte jej pouze v případě potřeby.</p><hr><h2>3. upravte výchozí hodnoty</h2><p>otevři <code>/etc/default/icecast2</code> soubor jako root v editoru. poslední řádek musí být změněn na</p><pre><code>enable=true </code></pre><p>to je všechno pro icecast2. samozřejmě existuje mnohem více nastavení, se kterými můžete hrát. v konfiguračních souborech jsou vysvětlující poznámky k parametrům.</p><h2>4. start/stop icecast</h2><p>server je spuštěn a zastaven následujícími příkazy:</p><pre><code>/etc/init.d/icecast2 start /etc/init.d/icecast2 stop </code></pre><p>během provozu serveru icecast lze spravovat z libovolného prohlížeče na adrese <code>http://localhost:8000/admin/</code> po zadání pověření administrátora definovaného v kroku 1. další dokumentace je k dispozici na <a href="http://icecast.org">icecast.org</a> .</p><p> <a href="https://launchpad.net/stream2ip">stream2ip</a> je grafické rozhraní pro rychlé spuštění a zastavení toků, kde již bylo provedeno základní nastavení pro ices2, ices nebo darkice.</p><hr><h2> <a href="http://packages.ubuntu.com/ices2">ices2</a> <a href="http://apt.ubuntu.com/p/ices2"><img src="https://i.imgur.com/cezqj.png" alt="install ices2"></a> pro streamování zvuku ogg vorbis z místní zvukové karty</h2><p>chcete-li nastavit pulseaudio pro povolení nahrávání ze zvukové karty, viz poznámka k darkice níže.</p><h3>vytvořte adresáře pro ices2</h3><pre><code>mkdir /var/log/ices # in case you need logfiles. mkdir /etc/ices2 # for putting ices stuff in. </code></pre><h3>upravte konfiguraci ices2 .xml</h3><p>ices2 se spustí s nastavením souboru .xml. verbální příklady konfigurací najdete v <code>/usr/share/doc/ices2/examples/</code>. tyto soubory je třeba upravit, aby vyhovovaly vašim potřebám, a je možné je zkopírovat kamkoli, nejlépe ve vašem domovském adresáři. v závislosti na konfiguračním souboru používá ices2 seznam skladeb ve formátu <strong> ogg vorbis </strong> (<code>ices-playlist.xml</code>) nebo výstup z vaší zvukové karty (<code>ices-alsa.xml</code>) jako zdroj streamování pro icecast2.</p><p>v sekci <code>&lt;input&gt;</code> možná budete muset zařízení vyměnit, pokud jste svůj zvukový systém nastavili na pulseaudio. chcete-li to provést, upravte odpovídající řádek takto:</p><pre><code>&lt;param name="device"&gt;pulse&lt;/param&gt; </code></pre><p>název streamu pro přijímajícího klienta je definován v následující části.</p><pre><code>&lt;mount&gt;/example1.ogg&lt;/mount&gt; </code></pre><h3>začněte streamovat</h3><p>streamy ze zvukové karty budou spuštěny nejprve spuštěním serveru icecast2 a poté spuštěním ices2 pomocí následujících příkazů:</p><pre><code>/etc/init.d/icecast2 start ices2 /home/user/somewhere/ices-pulse.xml # or any other name from .xml file </code></pre><h3>nastavení přijímače</h3><p>na straně přijímače se vaše „rozhlasová“ stanice naladí: <code>&lt;serverip&gt;:8000/example1.ogg</code> kde <code>&lt;serverip&gt;</code> je ip vašeho streamovacího serveru následovaný portem, který jste definovali v souboru icecast.xml (výchozí 8000).</p><h3>ukončit streamování</h3><p>proudy jsou ukončeny zabíjením ices2 nebo zastavením provozu serveru icecast2:</p><pre><code>killall ices2 /etc/init.d/icecast2 stop </code></pre><hr><h2> <a href="http://www.icecast.org/ices.php">ices</a> pro vysílání seznamů skladeb mp3</h2><p>vysílání seznamu skladeb obsahujících <strong> soubory mp3 </strong> nelze provést pomocí ices2. musíme nainstalovat <strong> ices </strong>, který musíme <a href="https://askubuntu.com/questions/123077/installing-applications-from-source">nainstalovat ze zdroje</a> .</p><p>po nastavení konfiguračního souboru s adresou serveru, heslem a vlastnostmi streamování (dobře zdokumentovaný příklad najdete v <code>/usr/share/doc/ices/examples</code>) můžeme streamovat zvukové soubory mp3 ze seznamů skladeb (např. ve formátu .m3u) přes server icecast2:</p><pre><code>/etc/init.d/icecast2 start ices -c &lt;path\_to\_config\_file&gt; -f &lt;path\_to\_playlist&gt; </code></pre><p>pro další možnosti si přečtěte dokumentaci na poměrně propracované manuálové stránce z <code>man ices</code>.</p><hr><h2> <a href="http://packages.ubuntu.com/darkice">darkice</a> <a href="http://apt.ubuntu.com/p/darkice"><img src="https://i.imgur.com/cezqj.png" alt="install darkice"></a> pro živé vysílání</h2><p>výstup lokální zvukové karty můžeme streamovat jako ogg vorbis nebo jako mp3 stream pomocí <strong> darkice </strong>. chcete-li povolit streamování místní zvukové karty, možná budeme muset nejprve definovat záznamové zařízení pro darkice v pulseaudio. to lze provést pomocí <a href="http://apt.ubuntu.com/p/pavucontrol">pavucontrol</a> <a href="http://apt.ubuntu.com/p/pavucontrol"><img src="https://hostmar.co/software-small" alt="install pavucontrol"></a> . na kartě <em> nahrávání</em> vyberte <code>monitor of &lt;your soundcard&gt;</code> pro <em> "alsa plug-in [darkice]"</em>.</p><p>konfigurační soubor (dobře zdokumentovaný příklad uvedený v <code>/usr/share/doc/darkice/examples</code>) je třeba přizpůsobit serveru icecast a místním zvukovým prostředím:</p><pre><code>[general] duration = 0 # duration in s, 0 forever buffersecs = 1 # buffer, in seconds reconnect = yes # reconnect if disconnected [input] device = default # or `pulse' for pulseaudio samplerate = 44100 # sample rate 11025, 22050 or 44100 bitspersample = 16 # bits channel = 2 # 2 = stereo [icecast2-0] bitratemode = vbr # variable bit rate (`cbr' constant, `abr' average) quality = 1.0 # 1.0 is best quality format = mp3 # format. choose `vorbis' for ogg vorbis bitrate = 256 # bitrate server = localhost # or ip port = 8000 # port for icecast2 access password = hackme # source password to the icecast2 server mountpoint = mystream.mp3 # mount point on the icecast2 server .mp3 or .ogg name = mystream </code></pre><p>po uložení této konfigurace (např. v <code>~/music/darkice.cfg</code>) nejprve spustíme server icecast a poté můžeme streamovat pulseaudio výstup z lokální zvukové karty vyvoláním:</p><pre><code>/etc/init.d/icecast2 start darkice -c ~/music/darkice.cfg </code></pre><p>na přijímači se naladíme na <code>http://&lt;localhost&gt;:8000/mystream.mp3</code> pro poslech. <code>&lt;localhost&gt;</code> je ip adresy serveru icecast.</p>