OLTP 和 OLAP 介紹

數(shù)據(jù)處理大致可以分為兩大類：OLTP（在線事務(wù)處理）和OLAP（在線分析處理）。OLTP 是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要用于基礎(chǔ)和日常事務(wù)處理，例如銀行事務(wù)。OLAP 是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用。支持復(fù)雜的分析操作，專注于決策支持，提供直觀易懂的查詢結(jié)果。

OLTP系統(tǒng)強(qiáng)調(diào)數(shù)據(jù)庫(kù)內(nèi)存效率，強(qiáng)調(diào)內(nèi)存各項(xiàng)指標(biāo)的命令率，強(qiáng)調(diào)綁定變量，強(qiáng)調(diào)并發(fā)操作；

OLAP 系統(tǒng)強(qiáng)調(diào)數(shù)據(jù)分析、SQL 執(zhí)行市場(chǎng)、磁盤 I/O 和分區(qū)。

OLTP 和 OLAP 的比較：

OLTP，也叫在線事務(wù)處理（Online Transaction Processing），是指具有非常高的事務(wù)處理能力的系統(tǒng)，一般都是高可用的在線系統(tǒng)，專注于小事務(wù)和小查詢。在評(píng)估他們的系統(tǒng)時(shí)，通常會(huì)查看它們。每秒執(zhí)行的事務(wù)和執(zhí)行 SQL 的數(shù)量。在這樣的系統(tǒng)中，單個(gè)數(shù)據(jù)庫(kù)每秒處理幾百、幾千個(gè)事務(wù)，Select語(yǔ)句的執(zhí)行量每秒幾千甚至幾萬(wàn)。典型的OLTP系統(tǒng)包括電子商務(wù)系統(tǒng)、銀行、證券等，例如美國(guó)eBay的業(yè)務(wù)數(shù)據(jù)庫(kù)就是典型的OLTP數(shù)據(jù)庫(kù)。

OLTP 系統(tǒng)中*容易出現(xiàn)瓶頸的是 CPU 和磁盤子系統(tǒng)。

例如將計(jì)算結(jié)果保存到統(tǒng)計(jì)表中。適當(dāng)?shù)姆椒ā?/p>

（2）在OLTP環(huán)境下，磁盤子系統(tǒng)的承載能力一般取決于其IOPS處理能力。因?yàn)樵贠LTP環(huán)境下，物理磁盤讀取一般是db文件順序讀取，即單塊讀取。但是，讀取的次數(shù)非常頻繁，如果磁盤子系統(tǒng)不能頻繁承載其IOPS，則會(huì)出現(xiàn)很大的性能問題。

OLTP比較常用的設(shè)計(jì)和優(yōu)化方法是Cache技術(shù)和B-tree索引技術(shù)。緩存決定了很多語(yǔ)句不需要從磁盤子系統(tǒng)獲取數(shù)據(jù)。因此，Web 緩存和 Oracle 數(shù)據(jù)緩沖區(qū)對(duì)于 OLTP 系統(tǒng)非常重要。另外，在索引使用方面，語(yǔ)句越簡(jiǎn)單越好，這樣執(zhí)行計(jì)劃就穩(wěn)定了數(shù)據(jù)處理模板的翻譯，必須使用綁定變量，減少語(yǔ)句解析，減少表關(guān)聯(lián)，減少分布式事務(wù)，基本不使用分區(qū)技術(shù)或MV技術(shù)。、并行技術(shù)和位圖索引。由于并發(fā)量高，批量更新應(yīng)該分批快速提交，避免阻塞。

OLTP系統(tǒng)是一個(gè)數(shù)據(jù)塊變化非常頻繁，SQL語(yǔ)句提交非常頻繁的系統(tǒng)。對(duì)于數(shù)據(jù)塊，數(shù)據(jù)塊應(yīng)該盡可能地保存在內(nèi)存中。對(duì)于SQL，應(yīng)盡量使用變量綁定技術(shù)，實(shí)現(xiàn)SQL復(fù)用，減少物理I/O和重復(fù)SQL解析，從而大大提高數(shù)據(jù)庫(kù)的性能。

除了綁定變量，這里的性能影響也可能是熱塊。當(dāng)一個(gè)塊被多個(gè)用戶同時(shí)讀取時(shí)，Oracle需要使用Latch來序列化用戶操作，以保持?jǐn)?shù)據(jù)的一致性。當(dāng)一個(gè)用戶獲得鎖存器時(shí)，其他用戶只能等待。獲得這個(gè)數(shù)據(jù)塊的用戶越多，等待的就越明顯。這就是散熱快的問題。這個(gè)hot flash可能是一個(gè)數(shù)據(jù)塊，也可能是一個(gè)回滾結(jié)束塊。對(duì)于數(shù)據(jù)塊，通常是由于數(shù)據(jù)庫(kù)中數(shù)據(jù)分布不均造成的。如果是索引數(shù)據(jù)塊，可以考慮創(chuàng)建倒排索引，以達(dá)到重新分配數(shù)據(jù)的目的。對(duì)于回滾段數(shù)據(jù)塊，可以適當(dāng)增加幾個(gè)回滾段來避免這種爭(zhēng)用。

OLAP，也叫在線分析處理（Online Analytical Processing）系統(tǒng)，有時(shí)也叫DSS決策支持系統(tǒng)，就是我們所說的數(shù)據(jù)倉(cāng)庫(kù)。在這樣的系統(tǒng)中，一條語(yǔ)句的執(zhí)行量并不是一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，因?yàn)橐粭l語(yǔ)句的執(zhí)行時(shí)間可能很長(zhǎng)，讀取的數(shù)據(jù)也很大。因此，在這樣的系統(tǒng)中，考核標(biāo)準(zhǔn)往往是磁盤子系統(tǒng)的吞吐量（帶寬），比如可以達(dá)到多少M(fèi)B/s的流量。

磁盤子系統(tǒng)的吞吐量通常取決于磁盤的數(shù)量。這時(shí)候Cache基本無效，數(shù)據(jù)庫(kù)的讀寫類型基本都是db文件分散讀和直接路徑讀/寫。應(yīng)該盡量使用比較多的磁盤和比較大的帶寬，比如4Gb的光纖接口。

在 OLAP 系統(tǒng)中，經(jīng)常使用分區(qū)技術(shù)和并行技術(shù)。

OLAP系統(tǒng)中分區(qū)技術(shù)的重要性主要體現(xiàn)在數(shù)據(jù)庫(kù)管理上。例如，可以通過分區(qū)交換來實(shí)現(xiàn)數(shù)據(jù)庫(kù)加載，通過備份分區(qū)表空間來實(shí)現(xiàn)備份，通過分區(qū)來刪除被刪除的數(shù)據(jù)。至于分區(qū)的性能，可以讓一些大表的掃描速度非?？欤ㄖ粧呙鑶蝹€(gè)分區(qū)）。另外，如果分區(qū)結(jié)合并行，整個(gè)表的掃描可以變得非常快?？傊謪^(qū)的主要功能是方便管理，它并不能絕對(duì)保證查詢性能的提升，分區(qū)有時(shí)會(huì)帶來性能提升，有時(shí)會(huì)降低。

除了并行技術(shù)和分區(qū)技術(shù)的結(jié)合，在Oracle 10g中，結(jié)合RAC實(shí)現(xiàn)多節(jié)點(diǎn)同時(shí)掃描，效果也很好。一個(gè)任務(wù)，比如select的全表掃描，可以平均分配到多個(gè)RAC節(jié)點(diǎn)上去。

在OLAP系統(tǒng)中數(shù)據(jù)處理模板的翻譯，不需要使用綁定（BIND）變量，因?yàn)檎麄€(gè)系統(tǒng)的執(zhí)行量很小，對(duì)于執(zhí)行時(shí)間可以忽略分析時(shí)間，可以避免錯(cuò)誤的執(zhí)行計(jì)劃。但是，位圖索引和物化視圖可以在 OLAP 中廣泛使用。對(duì)于大交易，盡量尋求速度優(yōu)化。不需要像OLTP那樣要求快速提交，甚至可以故意放慢執(zhí)行速度。

綁定變量的真正用途是在 OLTP 系統(tǒng)中。該系統(tǒng)通常具有并發(fā)用戶數(shù)非常大，用戶請(qǐng)求非常密集，并且這些請(qǐng)求的大部分SQL可以重用的特點(diǎn)。

對(duì)于OLAP系統(tǒng)，數(shù)據(jù)庫(kù)大部分時(shí)間在運(yùn)行報(bào)表作業(yè)，執(zhí)行的基本都是聚合SQL操作，比如group by。這時(shí)候，將優(yōu)化器模式設(shè)置為all_rows比較合適。對(duì)于一些分頁(yè)操作較多的網(wǎng)站數(shù)據(jù)庫(kù)，*好設(shè)置為first_rows。但有時(shí)對(duì)于OLAP系統(tǒng)，當(dāng)我們有分頁(yè)時(shí)，我們可以考慮在每個(gè)SQL中使用提示。喜歡：

從表a中選擇a.*；

分離設(shè)計(jì)和優(yōu)化

在設(shè)計(jì)上要特別注意，比如在高可用的OLTP環(huán)境中，不要盲目使用OLAP技術(shù)。

比如分區(qū)技術(shù)，假設(shè)不大規(guī)模使用分區(qū)鍵，而使用其他字段作為where條件，那么如果是本地索引，就得掃描多個(gè)索引，性能會(huì)變得甚至更低。如果是全局索引，就失去了分區(qū)的意義。

并行技術(shù)也是如此。一般在完成大型任務(wù)時(shí)使用。比如在現(xiàn)實(shí)生活中，翻譯一本書，可以安排多人翻譯不同的章節(jié)，這樣可以提高翻譯速度。如果只是翻譯一頁(yè)書，指派不同的人翻譯不同的行，然后組合起來，沒有必要，因?yàn)樵诜峙涞墓ぷ鲿r(shí)間內(nèi)，一個(gè)人可能早就完成了翻譯。

位圖索引也是一樣，如果用在OLTP環(huán)境中，很容易造成阻塞和死鎖。但是，在OLAP環(huán)境中，OLAP的查詢速度可能因其獨(dú)特的特性而得到提升。MV基本相同，包括trigger等，在DML頻繁的OLTP系統(tǒng)上，很容易成為瓶頸，甚至Library Cache等待，而在OLAP環(huán)境中，可能會(huì)因?yàn)槭褂玫卯?dāng)而提高查詢速度。

對(duì)于 OLAP 系統(tǒng)，內(nèi)存中幾乎沒有優(yōu)化空間。提高CPU處理速度和磁盤I/O速度是提高數(shù)據(jù)庫(kù)性能*直接的方法。當(dāng)然，這也意味著系統(tǒng)成本的增加。

比如我們要聚合上億或者上億的數(shù)據(jù)，在內(nèi)存中操作這么海量的數(shù)據(jù)是很困難的，也是沒有必要的，因?yàn)檫@些數(shù)據(jù)很少被復(fù)用和緩存。它沒有實(shí)際意義，而且還會(huì)造成相當(dāng)大的物理 I/O。所以這種系統(tǒng)的瓶頸往往是磁盤I/O。

對(duì)于OLAP系統(tǒng)，由于數(shù)據(jù)量大，SQL的優(yōu)化非常重要，全表掃描和索引的性能差異非常大。

其他

Oracle 10g之前的版本在構(gòu)建數(shù)據(jù)庫(kù)的過程中可以選擇的模板有：

數(shù)據(jù)倉(cāng)庫(kù)

通用（General Purpose，General Purpose）

新建數(shù)據(jù)庫(kù)

事務(wù)處理

Oracle 11g版本的數(shù)據(jù)庫(kù)構(gòu)建過程中可以選擇的模板有：

通用或事務(wù)處理

自定義數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)

個(gè)人對(duì)這些模板的理解是：

在線分析處理（OLAP，On-line Analytical Processing），數(shù)據(jù)量大，DML少。使用數(shù)據(jù)倉(cāng)庫(kù)模板

在線事務(wù)處理（OLTP，On-line Transaction Processing），數(shù)據(jù)量小，DML頻繁，并行事務(wù)很多，但一般都很短。使用通用或事務(wù)處理模板。

決策支持系統(tǒng)（DDS，Decision support system），典型的操作是全表掃描、長(zhǎng)查詢、長(zhǎng)事務(wù)，但一般事務(wù)的數(shù)量很少，往往是事務(wù)獨(dú)占系統(tǒng)。