キムラデービーブログ

オープンソースデータベースを加速する「キムラデービー」のブログです。カレー日記を兼ねてます。なお著者は2010-06-01より日本オラクルに在籍していますが、本サイト(ブログ、またはウェブサイト)において示されている見解は、私自身の見解であって、オラクルの見解を必ずしも反映したものではありません。
<< MySQL 8.0.19が来た! その2: mysqlコマンドラインツールのbinary-as-hexがデフォルトでオンに。 | main | Firebird 4.0 Beta 2 リリース >>
HP Z620にIntel OPTANE SSD9を設定してみる
0
    HP Z620にIntel OPTANE SSD9を設定してみる

    以前以下のようなブログを書きました。

    HP Z800にIntel SSD 910を設定してみる | キムラデービーブログ


    これが初号機で、PCI Express 2.0までしかなかったため、新しめのSSDの接続ができなかった。
    今回弐号機であるHP Z620を入手(CPU: E5-2640(6-core, 12-thread) x 2, RAM: 192GB)
    OS: CentOS7, これにIntel OPTANE SSD9(480GB)新品(7万円弱)をのせてみた。のせるにあたっては
    PCIe 3.0 x4が必要ということなので、HP Z620だと、どこにさせばいいんでしょうか?

    HP Z620 - 拡張カード スロットの仕様と要件

    デュアルCPUなので、1はうまっており、2はグラフィックボード、
    PCIe 3.0 x4なので、3か4にさせばよいはずです。とりあえず
    より高速なPCIe 3.0スロットが必要になるまでは4にさしておくことにしました。

    さて、ドライバのダウンロードはWindows OSしか対応していないため、Linuxの場合は、それぞれ
    のディストリビューションが用意したものを使うようになっています。ただ、前回のようにつけて再起動して
    同じ手順での認識、というわけにはいきませんでした。そのため、手順を探すのですが、なかなかない。。。。

    やっと見つけた方法はDELLでSamsungのSSDを設定する以下のページ

    NVMe on RHEL7

    これに沿って作業をすすめることにします。

    1) List the RHEL 7 OS information
    # uname -a
    Linux localhost.localdomain 3.10.0-1062.18.1.el7.x86_64 #1 SMP Tue Mar 17 23:49:17 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

    カーネルは3.10なので大丈夫そう。

    2) Get the device details by using the lspci utility
    ここではサムソンの代わりにインテルをいれます。ただ、インテルだけだとCPUやNetworkなどやけくそでるので、さらにSSDで絞り込みます。
    ]# lspci | grep -i intel | grep -i ssd
    03:00.0 Non-Volatile memory controller: Intel Corporation Optane SSD 900P Series

    この"03:00.0"がドライバが接続されているスロットとなります。以下のコマンドで詳細を得ます。

    # lspci -s 03:00.0 -v
    03:00.0 Non-Volatile memory controller: Intel Corporation Optane SSD 900P Series (prog-if 02 [NVM Express])
    Subsystem: Intel Corporation 900P Series [Add-in Card]
    Physical Slot: 4
    Flags: bus master, fast devsel, latency 0, IRQ 24, NUMA node 0
    Memory at efd10000 (64-bit, non-prefetchable) [size=16K]
    Expansion ROM at efd00000 [disabled] [size=64K]
    Capabilities: [40] Power Management version 3
    Capabilities: [50] MSI-X: Enable+ Count=32 Masked-
    Capabilities: [60] Express Endpoint, MSI 00
    Capabilities: [100] Advanced Error Reporting
    Capabilities: [150] Virtual Channel
    Capabilities: [180] Power Budgeting
    Capabilities: [190] Alternative Routing-ID Interpretation (ARI)
    Capabilities: [270] Device Serial Number 55-cd-2e-41-4e-3b-3f-6b
    Capabilities: [2a0] #19
    Kernel driver in use: nvme
    Kernel modules: nvme

    最初の1行と最後の二行でIntelのNVMeデバイスということがわかります。

    以下のコマンドでMaxPayloadをみます。Samsongと同様に256-byteに設定されています。
    # lspci -vvv -s 03:00.0 | grep DevCap
    DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s <4us, L1 <4us
    DevCap2: Completion Timeout: Range ABCD, TimeoutDis+, LTR-, OBFF Not Supported

    Payloadについては以下が参考になるかな? (ネットワークだけど)

    Re: PCI Express (PCIe) for Networkers | wataken44's blog

    以下のコマンドでNVMe driver nvme.ko.xzがわかります。
    # modinfo nvme
    filename: /lib/modules/3.10.0-1062.18.1.el7.x86_64/kernel/drivers/nvme/host/nvme.ko.xz
    version: 1.0
    license: GPL
    author: Matthew Wilcox
    retpoline: Y
    rhelversion: 7.7
    (snip)

    以下のコマンドでNVMeデバイス名がわかります。
    # cat /proc/partitions
    major minor #blocks name

    8 0 5860522584 sda
    8 1 1024 sda1
    8 2 1048576 sda2
    8 3 5859471360 sda3
    11 0 1048575 sr0
    253 0 52428800 dm-0
    253 1 4194304 dm-1
    259 0 468851544 nvme0n1
    253 2 5802844160 dm-2

    今回のOPTANEは nvme0n1です。これはDEVICE 0であることを示します。

    # mkfs.xfs -f /dev/nvme0n1
    meta-data=/dev/nvme0n1 isize=512 agcount=4, agsize=29303222 blks
    = sectsz=512 attr=2, projid32bit=1
    = crc=1 finobt=0, sparse=0
    data = bsize=4096 blocks=117212886, imaxpct=25
    = sunit=0 swidth=0 blks
    naming =version 2 bsize=4096 ascii-ci=0 ftype=1
    log =internal log bsize=4096 blocks=57232, version=2
    = sectsz=512 sunit=0 blks, lazy-count=1
    realtime =none extsz=4096 blocks=0, rtextents=0

    mount /dev/nvme0n1 /mnt/

    前回はIntel SSD 910が二つに分かれていたのでRADI0で構築して以下の結果でした。

    4k, sequential read: bw= 341MB/s, iops= 87274
    4k, sequential write:bw= 486MB/s, iops=124536
    4k, randam read: bw= 781MB/s, iops=199821
    4k, randam write: bw= 70MB/s, iops= 17952
    32m, sequential read:bw= 1335MB/s, iops= 41
    32m,sequential write:bw= 764MB/s, iops= 23

    以下のコマンドの結果と比較すると。。。。

    fio -filename=/mnt/test2g -direct=1 -rw=read -bs=4k -size=2G -numjobs=64 -runtime=10 -group_reporting -name=file1 | grep read:
    fio -filename=/mnt/test2g -direct=1 -rw=write -bs=4k -size=2G -numjobs=64 -runtime=10 -group_reporting -name=file1 | grep write:
    fio -filename=/mnt/test2g -direct=1 -rw=randread -bs=4k -size=2G -numjobs=64 -runtime=10 -group_reporting -name=file1 | grep read:
    fio -filename=/mnt/test2g -direct=1 -rw=randwrite -bs=4k -size=2G -numjobs=64 -runtime=10 -group_reporting -name=file1 | grep write:
    fio -filename=/mnt/test2g -direct=1 -rw=read -bs=32m -size=2G -numjobs=16 -runtime=10 -group_reporting -name=file1 | grep read:
    fio -filename=/mnt/test2g -direct=1 -rw=write -bs=32m -size=2G -numjobs=16 -runtime=10 -group_reporting -name=file1 | grep write:

    RAID構成ではないのに1.5倍(sequential write)〜10倍(random write)はやくなってますね。凄い。

    4k, sequential read: iops= 87274, bw= 341MB/s
    →→→→→→→ read: IOPS=582k, BW=2272MiB/s (2382MB/s)(22.2GiB/10002msec)
    4k, sequential write: iops=124536, bw= 486MB/s
    →→→→→→→ write: IOPS=199k, BW= 779MiB/s (817MB/s)(7793MiB/10002msec)
    4k, randam read: iops=199821, bw= 781MB/s,
    →→→→→ read: IOPS=582k, BW=2274MiB/s (2385MB/s)(22.2GiB/10002msec)
    4k, randam write: iops= 17952,bw= 70MB/s
    →→→→→ write: IOPS=169k, BW=661MiB/s (693MB/s)(6609MiB/10003msec)
    32m, sequential read: iops= 41,bw= 1335MB/s,
    →→→→→→→→read: IOPS= 79, BW=2548MiB/s (2672MB/s)(25.3GiB/10159msec)
    32m,sequential write: iops= 23, bw= 764MB/s
    →→→→→→→ write: IOPS=67, BW=2164MiB/s (2269MB/s)(21.4GiB/10114msec)

    JUGEMテーマ:コンピュータ



    | meijik | 開発環境 | 17:49 | comments(0) | - | - | - |









       1234
    567891011
    12131415161718
    19202122232425
    262728293031 
    << July 2020 >>
    + RECOMMEND
    100人のプロが選んだソフトウェア開発の名著 君のために選んだ1冊
    100人のプロが選んだソフトウェア開発の名著 君のために選んだ1冊 (JUGEMレビュー »)

    100人のうちの一人としてミックさんの本を推薦しています。
    + RECOMMEND
    MySQL 5.1 Plugin Development
    MySQL 5.1 Plugin Development (JUGEMレビュー »)
    Andrew Hutchings,Sergei Golubchik
    MySQL 5.1 のプラグインを作るならこれ!
    + RECOMMEND
    AWKを256倍使うための本 (Ascii 256倍)
    AWKを256倍使うための本 (Ascii 256倍) (JUGEMレビュー »)
    志村 拓,鷲北 賢,西村 克信
    ここにきてまさかの復刊。15〜16年前の本ですが、いまでも十分役立ちますよ!!
    + RECOMMEND
    Linux-DB システム構築/運用入門 (DB Magazine SELECTION)
    Linux-DB システム構築/運用入門 (DB Magazine SELECTION) (JUGEMレビュー »)
    松信 嘉範
    Linux-DB システム構築の新スタンダード。DB Magazine人気連載、待望の書籍化です!!
    + RECOMMEND
    + RECOMMEND
    超・極める!MySQL
    超・極める!MySQL (JUGEMレビュー »)
    坂井 恵,志村 和彦,ひろせ まさあき,松信 嘉範
    内容は少々古くなりましたが、内部説明があり、いろいろ面白いです。
    + RECOMMEND
    The Root of .NET Framework
    The Root of .NET Framework (JUGEMレビュー »)
    荒井 省三
    .NETの根っこをつかむ、か?
    + RECOMMEND
    エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド
    エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド (JUGEMレビュー »)
    奥野 幹也
    これまでにない構築、そして構築後のMySQLのための本。
    + RECOMMEND
    Database Management Systems
    Database Management Systems (JUGEMレビュー »)
    Raghu Ramakrishnan,Johannes Gehrke
    ミックさん連載の参考書籍です。
    + RECOMMEND
    Advanced Programming in the UNIX Environment: Paperback Edition (2nd Edition) (Addison-Wesley Professional Computing Series)
    Advanced Programming in the UNIX Environment: Paperback Edition (2nd Edition) (Addison-Wesley Professional Computing Series) (JUGEMレビュー »)
    W. Richard Stevens,Stephen A. Rago
    必読! といいつつ私が読んだのは初版の日本語訳です。差分はチェックしないといけませんね。
    + RECOMMEND
    + RECOMMEND
    + RECOMMEND
    Western Digital Scorpio Blue 2.5inch 5400rpm 320GB 8MB PATA WD3200BEVE
    Western Digital Scorpio Blue 2.5inch 5400rpm 320GB 8MB PATA WD3200BEVE (JUGEMレビュー »)

    DELL SX260の換装用に購入。今はコチラのほうが安いですね。
    + RECOMMEND
    情熱プログラマー ソフトウェア開発者の幸せな生き方
    情熱プログラマー ソフトウェア開発者の幸せな生き方 (JUGEMレビュー »)
    Chad Fowler
    OSC2010神戸に出展されたジュンク堂で買いました。
    + RECOMMEND
    Software Design 総集編 【2000~2009】(DVD付)
    Software Design 総集編 【2000~2009】(DVD付) (JUGEMレビュー »)

    メガトン級の過去記事。売り切れる前にお店に急げ!
    + RECOMMEND
    + RECOMMEND
    玄人志向 2.5型HDDケース SATA対応USB2.0接続 GW2.5AI-SU2
    玄人志向 2.5型HDDケース SATA対応USB2.0接続 GW2.5AI-SU2 (JUGEMレビュー »)

    Aspire 1410 HDD換装後、昔のHDDはこれにいれます。
    + RECOMMEND
    + RECOMMEND
    acer Aspire Timeline AS1410 11.6型ノートPC Windows7搭載 250GB ブラック AS1410-KK22
    acer Aspire Timeline AS1410 11.6型ノートPC Windows7搭載 250GB ブラック AS1410-KK22 (JUGEMレビュー »)

    色違い黒(他に青と白があります): メモリは最大4GBとあるが、がんばれば8GBいけるらしい。
    + RECOMMEND
    Firebird 徹底入門
    Firebird 徹底入門 (JUGEMレビュー »)
    木村 明治,はやし つとむ,坂井 恵
    Firebird日本ユーザ会のはやしさん、そしてMyNAから拝借(?) してきた坂井さんとともに書きました。まだ誰も知らないFirebird 2.5や、いままでドキュメントのなかったツール類についてもソースを確認してとりあげた本です。是非ご活用ください。
    + SELECTED ENTRIES
    + RECENT COMMENTS
    • たまたま「プリントヘッドの種類が違います」エラーから復活@MG6230
      meijik (11/20)
    • [ミュージシャンに聴かせたい・弾かせたい!] (4) 山田元気様
      meijik (07/27)
    • 毎月日経SYSTEMSが届くたびに?が増え続ける: 日経SYSTEMSのコラム「ITアーキテクチャーの真髄」と「第7正規化」
      meijik (03/03)
    • 2019年の木村明治
      田中尚 (01/08)
    • 使い慣れたSQLに潜む実装依存: Firebirdの場合(6) 文字列との結合演算子
      noname (12/10)
    • 毎月日経SYSTEMSが届くたびに?が増え続ける: 日経SYSTEMSのコラム「ITアーキテクチャーの真髄」と「第7正規化」
      Moriaki_ (01/05)
    • 毎月日経SYSTEMSが届くたびに?が増え続ける: 日経SYSTEMSのコラム「ITアーキテクチャーの真髄」と「第7正規化」
      Moriaki_ (01/05)
    • 2015年版 InterBaseの歩み
      nakagami (12/06)
    • 毎月日経SYSTEMSが届くたびに?が増え続ける: 日経SYSTEMSのコラム「ITアーキテクチャーの真髄」と「第7正規化」
      meijik (11/22)
    • 分散DB本読書会第46回メモ「STOP AFTER 10」
      masudahidehiko (09/01)
    + RECENT TRACKBACK
    + CATEGORIES
    + ARCHIVES
    + MOBILE
    qrcode
    + LINKS
    + PROFILE