www.wikidata.uk-ua.nina.az

Bigtable це система зі стисненням високою продуктивністю та власницькою системою збереження даних побудована на файловій

Bigtable

Bigtable — це система зі стисненням, високою продуктивністю та власницькою системою збереження даних, побудована на файловій системі Google, розподіленому менеджері блокувань Chubby, SSTable (лог-структуроване сховище, подібне до LevelDB[en]) та кілька інших технологій Google. 6 травня 2015 року загальнодоступна версія Bigtable почала працювати як сервіс. Bigtable також використовується в Google Cloud Datastore, який доступний як частина Google Cloud Platform.

Історія ред.

Розробка Bigtable розпочалась у 2004 році й зараз використовується рядом додатків Google, таких як вебіндексація, MapReduce, яка часто використовується для створення та модифікації даних, що зберігаються в Bigtable, Google Maps, пошуку у Google Книги, «Моя історія пошуку» (англ. My Search History), Google Earth, Blogger.com, хостинг Google Code, YouTube та Gmail. Причини, які спонукали Google для розробки власної бази включають масштабованість та кращий контроль за характеристиками продуктивності.

Реляційна база даних Google Spanner є реалізацією Bigtable разом з групою протоколів Paxos для двофазної транзакції для кожної таблиці. Google F1 є надбудовою над Spanner для заміни реалізації заснованої на MySQL.

Будова ред.

Bigtable є одним із прототипів сховищ з широким стовпчиком. Він відображає два довільних текстових значення (ключ рядка і ключ стовпця) та відмітку часу (отже, тривимірне відображення) у пов'язаний довільний масив байтів.:1 Це не реляційна база даних і її краще визначити як розріджену, розподілену багатовимірну відсортовану карту. Bigtable призначений для масштабування в діапазоні петабайту через «сотні або тисячі машин, а також для спрощення додавання нових машин до системи і автоматичного використання цих ресурсів без будь-якої переконфігурації».

Кожна таблиця має багато розмірностей (одна з яких є полем для відміток часу, що дозволяє використовувати системи керування версіями та збирання сміття). Таблиці оптимізовані для файлової системи Google (GFS) шляхом розбиття на кілька таблиць або таблетів (англ. tablet) — сегменти таблиці діляться по рядкам, таким чином, щоб їх розмір складав ~200 мегабайт. Коли розміри загрожують вийти за встановлену межу, таблиці стискуються за допомогою алгоритмів BMDiff та Zippy — останній алгоритм широко відомий за відкритою бібліотекою Snappy, яка є варіацією LZ77 не дуже ефективною за об'ємом стиснення, але більш ефективною за часом обчислень. Розташування складових таблиці (таблети) в GFS вносяться як записи бази даних у кількох спеціальних таблетах, які називаються «META1»-таблетами. META1 таблети знаходяться за запитом єдиного таблета «META0», який звичайно розміщується на власному сервері, оскільки до нього часто йдуть запити від клієнтів щодо розташування таблета «META1», який сам містить відповідь на питання про те, де знаходяться фактичні дані. Як і головний сервер GFS, сервер META0 взагалі не є вузьким місцем[en], оскільки час і пропускна спроможність процесора, необхідні для пошуку та передачі адреси META1, є мінімальними, а клієнти активно кешують координати для мінімізації запитів.

Див. також ред.

Примітки ред.

  1. . Google Blog. 6 травня 2015. Архів оригіналу за 8 березня 2016. Процитовано 21 вересня 2016. 
  2. . Архів оригіналу за 4 березня 2016. Процитовано 10 липня 2018. 
  3. Kumar, Aswini. У Whitchcock, Andrew. . Архів оригіналу за 16 червень 2006. Процитовано 10 липень 2018. «First an overview. Bigtable has been in development since early 2004 and has been in active use for about eight months (about February 2005).»  .
  4. ↑ Chang та ін., 2006.
  5. Chang та ін., 2006, с. 3: ‘Bigtable can be used with MapReduce, a framework for running large-scale parallel computations developed at Google. We have written a set of wrappers that allow a Bigtable to be used both as an input source and as an output target for MapReduce jobs’
  6. Whitchcock, Andrew. . Архів оригіналу за 16 червень 2006. Процитовано 10 липень 2018. «There are currently around 100 cells for services such as Print, Search History, Maps, and Orkut»  .
  7. Cordes, Kyle (12 липня 2007). (talk). Архів оригіналу за 10 квітня 2010. Процитовано 10 липня 2018. «Their new solution for thumbnails is to use Google’s Bigtable, which provides high performance for a large number of rows, fault tolerance, caching, etc. This is a nice (and rare?) example of actual synergy in an acquisition.»  .
  8. . Google App Engine. Google Code. Архів оригіналу за 7 січня 2012. Процитовано 10 липня 2018. .
  9. Chang та ін., 2006, Conclusion: ‘We have described Bigtable, a distributed system for storing structured data at Google... Our users like the performance and high availability provided by the Bigtable implementation, and that they can scale the capacity of their clusters by simply adding more machines to the system as their resource demands change over time... Finally, we have found that there are significant advantages to building our own storage solution at Google. We have gotten a substantial amount of flexibility from designing our own data model for Bigtable.’
  10. Shute, Jeffrey ‘Jeff’; Oancea, Mircea; Ellner, Stephan; Handy, Benjamin ‘Ben’; Rollins, Eric; Samwel, Bart; Vingralek, Radek; Whipkey, Chad; Chen, Xin; Jegerlehner, Beat; Littlefield, Kyle; Tong, Phoenix (2012). (presentation). Research. Sigmod: Google. с. 19. Архів оригіналу за 9 червня 2017. Процитовано 10 липня 2018. «We've moved a large and critical application suite from MySQL to F1»  .
  11. (World Wide Web log). Radar. Database War Stories (7). O’Reilly. May 2006. Архів оригіналу за 11 липня 2018. Процитовано 10 липня 2018. .
  12. . 12 жовтня 2008. Архів оригіналу за 1 May 2013. Процитовано 14 квітня 2015. .
  13. McIlroy, Bentley. DCC '99. IEEE. Архів оригіналу за 6 жовтня 2014. Процитовано 10 липня 2018. .
  14. (Weblog). Outer court. 23 жовтня 2005. Архів оригіналу за 14 червня 2007. Процитовано 10 липня 2018. .
  15. (project). Code. Google. Архів оригіналу за 2 січня 2022. Процитовано 2 січня 2022. 

Бібліографія ред.

  • Chang, Fay; Dean, Jeffrey; Ghemawat, Sanjay; Hsieh, Wilson C.; Wallach, Deborah A.; Burrows, Mike; Chandra, Tushar; Fikes, Andrew та ін. (2006). Bigtable: A Distributed Storage System for Structured Data. (PDF). Google. Архів оригіналу за 14 грудня 2009. Процитовано 10 липня 2018.  .

Посилання ред.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри
Дата публікації:
Bigtable ce sistema zi stisnennyam visokoyu produktivnistyu ta vlasnickoyu sistemoyu zberezhennya danih pobudovana na fajlovij sistemi Google rozpodilenomu menedzheri blokuvan Chubby SSTable log strukturovane shovishe podibne do LevelDB en ta kilka inshih tehnologij Google 6 travnya 2015 roku zagalnodostupna versiya Bigtable pochala pracyuvati yak servis Bigtable takozh vikoristovuyetsya v Google Cloud Datastore yakij dostupnij yak chastina Google Cloud Platform 1 2 Google BigtableTip Hmarne shovisheRozrobnik Google Inc Pershij vipusk lyutij 2005 18 rokiv tomu 2005 02 Platforma Google Cloud PlatformMova programuvannya C golovne yadro Java Python Go RubyLicenziya PropriyetarneVebsajt cloud google com bigtable Zmist 1 Istoriya 2 Budova 3 Div takozh 4 Primitki 5 Bibliografiya 6 PosilannyaIstoriya red Rozrobka Bigtable rozpochalas u 2004 roci 3 j zaraz vikoristovuyetsya ryadom dodatkiv Google takih yak vebindeksaciya 4 MapReduce yaka chasto vikoristovuyetsya dlya stvorennya ta modifikaciyi danih sho zberigayutsya v Bigtable 5 Google Maps 6 poshuku u Google Knigi Moya istoriya poshuku angl My Search History Google Earth Blogger com hosting Google Code YouTube 7 ta Gmail 8 Prichini yaki sponukali Google dlya rozrobki vlasnoyi bazi vklyuchayut masshtabovanist ta krashij kontrol za harakteristikami produktivnosti 9 Relyacijna baza danih Google Spanner ye realizaciyeyu Bigtable razom z grupoyu protokoliv Paxos dlya dvofaznoyi tranzakciyi dlya kozhnoyi tablici Google F1 ye nadbudovoyu nad Spanner dlya zamini realizaciyi zasnovanoyi na MySQL 10 Budova red Bigtable ye odnim iz prototipiv shovish z shirokim stovpchikom Vin vidobrazhaye dva dovilnih tekstovih znachennya klyuch ryadka i klyuch stovpcya ta vidmitku chasu otzhe trivimirne vidobrazhennya u pov yazanij dovilnij masiv bajtiv 4 1 Ce ne relyacijna baza danih i yiyi krashe viznachiti yak rozridzhenu rozpodilenu bagatovimirnu vidsortovanu kartu Bigtable priznachenij dlya masshtabuvannya v diapazoni petabajtu cherez sotni abo tisyachi mashin a takozh dlya sproshennya dodavannya novih mashin do sistemi i avtomatichnogo vikoristannya cih resursiv bez bud yakoyi perekonfiguraciyi 11 Kozhna tablicya maye bagato rozmirnostej odna z yakih ye polem dlya vidmitok chasu sho dozvolyaye vikoristovuvati sistemi keruvannya versiyami ta zbirannya smittya Tablici optimizovani dlya fajlovoyi sistemi Google GFS shlyahom rozbittya na kilka tablic abo tabletiv angl tablet segmenti tablici dilyatsya po ryadkam takim chinom shob yih rozmir skladav 200 megabajt Koli rozmiri zagrozhuyut vijti za vstanovlenu mezhu tablici stiskuyutsya za dopomogoyu algoritmiv BMDiff 12 13 ta Zippy 14 ostannij algoritm shiroko vidomij za vidkritoyu bibliotekoyu Snappy 15 yaka ye variaciyeyu LZ77 ne duzhe efektivnoyu za ob yemom stisnennya ale bilsh efektivnoyu za chasom obchislen Roztashuvannya skladovih tablici tableti v GFS vnosyatsya yak zapisi bazi danih u kilkoh specialnih tabletah yaki nazivayutsya META1 tabletami META1 tableti znahodyatsya za zapitom yedinogo tableta META0 yakij zvichajno rozmishuyetsya na vlasnomu serveri oskilki do nogo chasto jdut zapiti vid kliyentiv shodo roztashuvannya tableta META1 yakij sam mistit vidpovid na pitannya pro te de znahodyatsya faktichni dani Yak i golovnij server GFS server META0 vzagali ne ye vuzkim miscem en oskilki chas i propuskna spromozhnist procesora neobhidni dlya poshuku ta peredachi adresi META1 ye minimalnimi a kliyenti aktivno keshuyut koordinati dlya minimizaciyi zapitiv Div takozh red Amazon SimpleDB Veliki dani Rozpodilena fajlova sistema Dynamo shovishe danih Shovishe z shirokim stovpchikom Hadoop CouchDBPrimitki red Announcing Google Cloud Bigtable The same database that powers Google Search Gmail and Analytics is now available on Google Cloud Platform Google Blog 6 travnya 2015 Arhiv originalu za 8 bereznya 2016 Procitovano 21 veresnya 2016 Arhivovana kopiya Arhiv originalu za 4 bereznya 2016 Procitovano 10 lipnya 2018 Kumar Aswini U Whitchcock Andrew Google s Bigtable Arhiv originalu za 16 cherven 2006 Procitovano 10 lipen 2018 First an overview Bigtable has been in development since early 2004 and has been in active use for about eight months about February 2005 a b Chang ta in 2006 Chang ta in 2006 s 3 Bigtable can be used with MapReduce a framework for running large scale parallel computations developed at Google We have written a set of wrappers that allow a Bigtable to be used both as an input source and as an output target for MapReduce jobs Whitchcock Andrew Google s Bigtable Arhiv originalu za 16 cherven 2006 Procitovano 10 lipen 2018 There are currently around 100 cells for services such as Print Search History Maps and Orkut Cordes Kyle 12 lipnya 2007 YouTube Scalability talk Arhiv originalu za 10 kvitnya 2010 Procitovano 10 lipnya 2018 Their new solution for thumbnails is to use Google s Bigtable which provides high performance for a large number of rows fault tolerance caching etc This is a nice and rare example of actual synergy in an acquisition How Entities and Indexes are Stored Google App Engine Google Code Arhiv originalu za 7 sichnya 2012 Procitovano 10 lipnya 2018 Chang ta in 2006 Conclusion We have described Bigtable a distributed system for storing structured data at Google Our users like the performance and high availability provided by the Bigtable implementation and that they can scale the capacity of their clusters by simply adding more machines to the system as their resource demands change over time Finally we have found that there are significant advantages to building our own storage solution at Google We have gotten a substantial amount of flexibility from designing our own data model for Bigtable Shute Jeffrey Jeff Oancea Mircea Ellner Stephan Handy Benjamin Ben Rollins Eric Samwel Bart Vingralek Radek Whipkey Chad Chen Xin Jegerlehner Beat Littlefield Kyle Tong Phoenix 2012 Summary F1 the Fault Tolerant Distributed RDBMS Supporting Google s Ad Business presentation Research Sigmod Google s 19 Arhiv originalu za 9 chervnya 2017 Procitovano 10 lipnya 2018 We ve moved a large and critical application suite from MySQL to F1 Google File System and Bigtable World Wide Web log Radar Database War Stories 7 O Reilly May 2006 Arhiv originalu za 11 lipnya 2018 Procitovano 10 lipnya 2018 Google Bigtable Compression Zippy and BMDiff 12 zhovtnya 2008 Arhiv originalu za 1 May 2013 Procitovano 14 kvitnya 2015 McIlroy Bentley Data compression using long common strings DCC 99 IEEE Arhiv originalu za 6 zhovtnya 2014 Procitovano 10 lipnya 2018 Google s Bigtable Weblog Outer court 23 zhovtnya 2005 Arhiv originalu za 14 chervnya 2007 Procitovano 10 lipnya 2018 Snappy project Code Google Arhiv originalu za 2 sichnya 2022 Procitovano 2 sichnya 2022 Bibliografiya red Chang Fay Dean Jeffrey Ghemawat Sanjay Hsieh Wilson C Wallach Deborah A Burrows Mike Chandra Tushar Fikes Andrew ta in 2006 Bigtable A Distributed Storage System for Structured Data download ebook PDF Google Arhiv originalu za 14 grudnya 2009 Procitovano 10 lipnya 2018 rekomenduyetsya displayauthors dovidka Posilannya red Bigtable A Distributed Structured Storage System Washington Video Google Arhiv originalu za 18 kvitnya 2011 Procitovano 10 lipnya 2018 UWTV video Arhiv originalu za 15 chervnya 2006 Witchcock Andrew Google s Bigtable notes on the official presentation Arhiv originalu za 16 cherven 2006 Procitovano 10 lipen 2018 Carr David F 6 lipnya 2006 How Google Works Baseline Is the Relational Database Doomed Read write web Arhiv originalu za 11 lipnya 2018 Procitovano 10 lipnya 2018 Otrimano z https uk wikipedia org w index php title Bigtable amp oldid 35366513