Spresenseとは？

Spresenseとは、Sonyが発売した小型マイコンボードです。
https://developer.sony.com/ja/develop/spresense/

特徴は、

• GPS機能搭載（アンテナもメインボードに搭載、複数の衛星タイプに対応）
• ハイレゾオーディオ
• マルチコアプロセッサで強い
• 省電力・小型

といったところです。
開発はArduino互換と、独自の組み込みOSを使うのとの2とおりです。

とくにこの大きさで低消費電力で、簡単に扱えて
これだけ多機能なマイコンボードは少なく、色々と使えそうなボードです。
私は、今年8月のMaker Faire Tokyoで購入して、遊んでいます。

QZSSのL1Sとは

QZSSは準天頂衛星のことで、日本が打ち上げた「みちびき」シリーズのことを指します。
準天頂衛星「みちびき」は、GPSと互換の測位信号を、日本近辺でなるべく天頂に近い位置から配信することで、特に都市部などでの測位精度をあげることが大きな役割となっています。

しかし、それだけではGPSの理論精度に、より近い精度で測位が可能になるだけです。
実は準天頂衛星には、L1Sや、L6といった、GPSを補完するための信号を送る仕組みが搭載されています。

http://qzss.go.jp/overview/services/sv05_slas.html

今回注目するL1Sは、L1C/Aという通常のGPS・QZSSで使っている電波の周波数帯と同じ周波数帯で、電離層遅延の補正信号などを送信するものです。
そのため、これまでのGPS受信機と同じ無線受信機で、受信後のデータの処理さえ行ってあげれば利用することができ、既存のGPS受信機の設計の軽微な変更で利用可能になるいう利点があります。

Spresenseの最近のアップデートで、このL1S信号の処理ができるようになったということで、実際に使ってみました。

使ってみる

https://developer.sony.com/ja/develop/spresense/developer-tools/get-started-using-arduino-ide/set-up-the-arduino-ide
こちらを参考にして、まずはArduino開発環境を整えます。
Spresenseの開発キットに関しては、最新のものを利用してください。　

さて、GNSS（全球衛星測位システム、まぁつまりGPSとかのことをまとめてこういう言い方をします）のサンプルスケッチを見てみましょう。
https://github.com/sonydevworld/spresense-arduino-compatible/blob/master/Arduino15/packages/SPRESENSE/hardware/spresense/1.0.0/libraries/GNSS/examples/gnss/gnss.ino

129～130行目に利用する衛星の設定があります。みちびきのGPS互換信号とL1S信号を使うように設定しています。GPSは、デフォルトで使うようになっています。

    Gnss.select(QZ_L1CA);  // Michibiki complement
    Gnss.select(QZ_L1S);   // Michibiki augmentation(Valid only in Japan)

https://github.com/sonydevworld/spresense-arduino-compatible/blob/master/Arduino15/packages/SPRESENSE/hardware/spresense/1.0.0/libraries/GNSS/GNSS.h
また、こちらをみると、

enum SpSatelliteType {
    GPS       = (1U << 0),
    GLONASS   = (1U << 1),
    SBAS      = (1U << 2),
    QZ_L1CA   = (1U << 3),
    QZ_L1S    = (1U << 5),
    UNKNOWN   = 0,
};

とあり、GLONASSなどにも対応していることがわかります。
今回は、上記のサンプルコードを用いてGPS・QZSS・QZSS L1Sを組み合わせて測位を試してみました。

結果を見てみる

シリアルから取得した結果の地理座標部分だけをCSVにして、Google Mapsのマイマップ機能を使って地図上に表示します。

マイマップ機能で新規の地図を作成すると、CSVからのインポートができます、
GoogleDriveなどに保存したCSVファイルなどからインポートすることができます。

実際にやってみた結果が、以下のような図になります。

SpresenseGPS検証

これは、いくつかの場所で静止状態で測位を続けたときの座標群を表示していますが、
かなり大きなずれがあることがわかります。
六本木ヒルズの周辺なので、やはりビル群による電波の反射などがあり精度がでにくいのではないかと思いました。

まとめ

あまり芳しくない結果になってしまいましたが、やはりGPS的な仕組みにとって、都市部は難しいフィールドだということでしょうか。
ともあれ、ログを確認したところではちゃんとL1Sの信号も拾っていますし、設定を代えて試したところGLONASSも拾えていることがわかったので、
今後より本格的な検証をしていこうと思います。

この記事は KLab Advent Calendar 2018 の二日目のエントリです。

日本語入力の状態管理って面倒くさい

vim を使っていて、日本語入力をする場合、NORMALモードからiを押してINSERTモードにしたあと、半角全角キーなどを使って日本語入力をONにして入力をはじめる事になりますよね。
この状態からNORMALモードに戻る時には、当然ですが、まず日本語入力をOFFにしたあとにESCキーを押してINSERTモードから抜ける事になります。

INSERTモードに入った時は日本語入力を行うかどうかはわからないので明示的にONするのは納得いくのですが、INSERTモードを抜けた後に日本語入力を行う事はないので、INSERTモードを抜ける時に自動的に日本語入力をOFFにしても問題ないはずです。

というわけで設定してみましょう。

Windowsの場合

Windowsの場合はキー設定を変更する場合、のどかを使います。(2019-09現在、サイト閉鎖されてしまったようです)
のどかの設定はホームディレクトリ下に dot.nodoka というファイルを作ってそこに書き込みます。
ESCが押された時に日本語入力をOFFにするわけですが、半角全角キーだとトグルなので、&SetImeStatusを利用して以下のように書きます。

key IL-Esc = &Default &SetImeStatus(off)
key C-IL-LeftSquareBracket = &Default &SetImeStatus(off)

IL- はIMEがONになっている時を判定するモディファイヤで、その時にEscが押されると、通常のEscが押された時の動作( &Default )と同時にIMEをOff( &SetImeStatus(off) )にします。
C-[ を押した時にも同じ動作をしてほしいので、同じ設定を二行目に書いています。

Macの場合

Windowsで設定している事は当然Macでもやりたくなりますよね。Macでキー設定をカスタマイズする場合はKarabiner-Elementsを使います。

     "rules": [
                  {
                      "description": "C-[ to ESC and KANA UNLOCK",
                      "manipulators": [
                          {
                              "from": {
                                  "key_code": "open_bracket",
                                  "modifiers": {
                                      "mandatory": [
                                          "control"
                                      ]
                                  }
                              },
                              "to": [
                                  {
                                      "key_code": "escape"
                                  },
                                  {
                                      "key_code": "lang2"
                                  }
                              ],
                              "type": "basic"
                          }
                      ]
                  },
                  {
                      "description": "ESC to ESC and KANA UNLOCK",
                      "manipulators": [
                          {
                              "from": {
                                  "key_code": "escape"
                              },
                              "to": [
                                  {
                                      "key_code": "escape"
                                  },
                                  {
                                      "key_code": "lang2"
                                  }
                              ],
                              "type": "basic"
                          }
                      ]
                  }
              ]

ことあるごとにESCを連打していこう

Windowsの場合、日本語入力のON/OFFは半角全角キーによるトグル操作なので、今の日本語入力の状態を自分で把握しておかないといけないですが、とりあえずESCキーを連打すれば日本語入力がOFFになるというのは他のエディタを使っていても直感的で便利です。

ESC連打していろんなことからESCAPEしていきましょう。

KLab Engineer Advent Calendar 2018 の 3 日目

これは？

年末になると Python マニュアルだけでなく CPython のソースを読んでみたり改変してみたり C でライブラリを書いてみたりして遊ぶのが自分の中で恒例となっていまして。今年もそうやって過ごすつもりなので毎年のように調べなおしている Python C/API の事柄のうち記憶がしっかりしているものを事前に書き出しておきます。そして本来自分用のものだけれども隠すものでもないと考え直したので見えるところにおいてみます。

C/C++ で CPython のモジュールを書くことができる、 C/C++ アプリに CPython を組み込むこともできる Python C/API 。これは役に立つのか？ 先達によって書かれた Python ライブラリ、 Cython, ctypes など既存ツールが手厚く存在するので C/C++ と Python C/API で頑張らなくても大抵のケースでは事足りるよなぁ、というのが実際のところ。というわけで目的と手段の逆転、使ってみたかったから使うといった感じで。いや CPython の実装の理解には役に立っている、はず、たぶん、きっと。

0. 準備

とにかく C 言語を使える環境を用意する。必須ではないがせっかくなので少し手を伸ばして Python をソースからビルドしてみる。そのやりかたもマニュアルが用意されているので開発者・先駆者の方々に感謝しつつ実行。今回は Python 3.7.1 を使用する。

Windows なら Visual Stodio 2017 を Python development と Python native development tools 入りでインストールして PCBuild/build.bat を実行。 OS X や Linux ではマニュアルの通り前準備して ./configure, make, make install 。たとえば Ubuntu 18.04 なら

# パッケージの準備
$ sudo vim /etc/apt/sources.list
# deb-src http://archive.ubuntu.com/ubuntu/ bionic universe とか
# Japanese Team の日本語 Remix イメージなら
# deb-src http://jp.archive.ubuntu.com/ubuntu/ bionic universe と設定されている行のコメントを外す

$ sudo apt build-dep python3.7

# ソースの準備
# python.org をブラウザで見る、 wget, curl などなど
$ wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tar.xz
$ tar --xz -xvf Python-3.7.1.tar.xz
# もしくは github から v3.7.1 を clone
$ git clone --depth 1 --single-branch -b v3.7.1 https://github.com/python/cpython.git

# build & install
$ ./configure --prefix=${HOME}/python371 --enable-optimizations
$ make
$ make install

# さっそく venv 。 ipython, pytest くらいは入れておく。
$ ~/python371/bin/python -m venv ~/py371
$ . ~/py371/bin/activate
$ pip install ipython pytest

以下のコードの動作確認はこの Ubuntu 18.04 にて行っている。一部だけだが Windows 10 1083, MacOS High Sierra でも試してみて無事だったので CPython が動く環境であれば動くはず。

1. C で空のモジュールを作る

Python なら 0 byte の .py ファイルを用意すればこれを import することができる。空でもモジュールには違いない。まずはこれを目指す。0 byte の spam.so という名のファイルを用意して import を試みると ModuleNotFoundError ではなく ImportError になることからもわかるように CPython は共有ライブラリを見つけるとこれをモジュールであると期待して読み込もうとする。

In [1]: import spam
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-1-bdb680daeb9f> in <module>
----> 1 import spam

ModuleNotFoundError: No module named 'spam'

In [2]: !touch spam.so

In [3]: import spam
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-3-bdb680daeb9f> in <module>
----> 1 import spam

ImportError: /home/fgshun/src/advent2018/spam.so: file too short

どのような共有ライブラリを作ればよいか？ それは PyObject * PyInit_<モジュール名>(void) という関数を公開した共有ライブラリ。 PyObject * と直接書かずに PyMODINIT_FUNC マクロを使うのは環境の違いを吸収するため。たとえば Visual Studio では __declspec(dllexport) が追加で必要だったりするがこのマクロが対応してくれる。たとえば C ではなく C++ を使うと extern "C" が要るがこれも同様。

#include <Python.h>

PyMODINIT_FUNC PyInit_spam(void) {
    return NULL;
}

この後 setup.py を用意。これができてしまえば pure python のライブラリと同じように python setup.py install もしくは pip install . でビルドしつつインストールできるようになる。 python setup.py develop もしくは pip install -e . でインストールしきらずに開発を続行できるのも同様。

from setuptools import setup, Extension

extensions = [Extension('spam', sources=['spam.c'])]

setup(
    name='spam',
    ext_modules=extensions,
    )

あらためてビルド、 import 。 NULL を返したにもかかわらず例外がセットされていないゆえの SystemError 。

In [1]: import spam
---------------------------------------------------------------------------
SystemError                               Traceback (most recent call last)
<ipython-input-1-bdb680daeb9f> in <module>
----> 1 import spam

SystemError: initialization of spam failed without raising an exception

モジュールオブジェクトを PyModule_Create でつくるのがチュートリアルにある方法。でも今回はあえて PyModuleDef_Init の多段階初期化でやってみる。関連する PEP 489 を読みつつ。ついでに Py_LIMITED_API を入れておく。これは非公開の API や構造体、構造体のメンバを隠してくれるもの。環境が許せば再ビルド不要なバイナリパッケージをつくることが可能となるが Windows ではやっぱり再ビルド必要なのとできることが減るのでよいことばかりではない、いやデメリットのほうが目立つ？ ともかく今回は limited API 環境で。 PyModuleDef_Init が追加されたのは Python 3.5 からなので 0x03050000 を対応バージョンの下限に設定する。 もうひとつ、 PyArg_ParseTuple で長さの型に int を使ってしまっていたのを Py_ssize_t にする修正をいれる PY_SSIZE_T_CLEAN を入れておく。

これで空のモジュールが C で書けた。そして、 setup.py に tests_require=['pytest'] などを加えて py.test でユニットテストができるようにして。書き加えて遊ぶ準備は完了。

#define Py_LIMITED_API 0x03050000
#define PY_SSIZE_T_CLEAN
#include <Python.h>


static struct PyModuleDef spam_module = {
    PyModuleDef_HEAD_INIT,
    .m_name = "spam",
};


PyMODINIT_FUNC PyInit_spam(void) {
    return PyModuleDef_Init(&spam_module);
}

from setuptools import setup, Extension

extensions = [Extension('spam', sources=['spam.c'])]

setup(ext_modules=extensions)

[metadata]
name = spam
version = 0.1.0

[options]
python_requires = >=3.5
setup_requires = pytest-runner
tests_requires = pytest

[aliases]
test=pytest

import pytest

import spam


def test_import():
    assert spam.__name__ == 'spam'

2. モジュール構築

2.1. 前知識

Python/C API リファレンスマニュアル に必要なことは書いてあるので感謝しつつ読む。モジュールの完成例が見たくなったら標準ライブラリ。今回の limited API 環境でモジュールを書くにあたり直接参照できるのは xxlimited.c 。その他ももちろん参考になる。

「はじめに - オブジェクト、型および参照カウント」は必読。以下概要。

• CPython におけるオブジェクトは C から見ると PyObject 構造体。
• PyObject 構造体は参照カウントを持つ。これを増減するのはプログラマの責任。自動ではなされない。
  • 参照カウントが 0 になるとそのオブジェクトのメモリ解放関数が呼ばれる。メモリ開放処理が別のメモリ開放関数を呼び出すといった連鎖が起こることがあり、これによりメモリ解放の連鎖に巻き込まれたオブジェクトをまだ使えると誤解・誤操作することが起こりえる。どうしても消されたくないオブジェクトがあるときは事前に参照カウントを増やしておく。
  • Py_DECREF(PyObject *o) で減らし、 Py_INCREF(PyObject *o) で増やす。 NULL を渡すのは禁止。
  • Py_XDECREF(PyObject *o) で減らし、 Py_XINCREF(PyObject *o) で増やす。 X なしとの違いは NULL チェックをしてくれるところ。
  • Py_CLEAR(PyObject *o) で減らす。 Py_XDECREF との違いは変数を参照カウンタを減らす「前」に NULL にしてくれるところ。結果として Py_CLEAR 後に o は NULL となる。減らす前なのはメモリ解放処理が連鎖したときの事故に備えている。
  • PyObject * を返す API が成功したときの返り値の所有権を持っているかどうかは API 次第。ドキュメントに Return Value: New reference とあれば所有権あり、 Borrow reference とあれば所有権なし、借り物。日本語マニュアルでは前者を所有参照、後者を借用参照と訳している。
  • 所有参照は不要になったら参照カウントを減らさなければならない。借用参照はなにがあっても参照カウントを減らしてはならない。
  • 引数として渡された参照を盗むとされている API がごく少数存在する。将来なんらかのしくみで参照カウントが 1 減らされることが約束されるので減らし過ぎに注意。たとえば PyModule_AddObject でモジュールに追加されたオブジェクトの参照カウントはモジュールがメモリ解放されはじめたときに 1 減らされることとなる。当然ながら借り物をわたしてはならない、又貸し禁止。
• PyObject * を返す API は失敗すると NULL を、 int を返す API は -1 を返す。
  • マニュアルに特記ある API 以外は。
  • 失敗したときにはなんらかの例外がセット済み。
  • 失敗していなくとも -1 が得られて区別がつかない場合がある API もある。こういったものに対しては PyErr_Occurred を併用する。 if (ret == -1 && PyErr_Occurred()) のようにする。
• PyObject * を引数として受け取る API には NULL を渡しても良いものとだめなものがある。要マニュアル参照。
  • NULL を渡しても良い API の引数には失敗したとき NULL を返す API を直接書くことができる。たとえば PyModule_AddObject(module, "zero", PyLong_FronLong(0))。

2.2. モジュールオブジェクトへのオブジェクトの追加

PyModuleDef の m_slots に PyModuleDef_Slot[] を登録し、 Py_mod_exec として関数を登録。関数には module オブジェクトが渡ってくるので編集する。成功したら 0 を、失敗したら module オブジェクトの参照カウントを減らして -1 を返す。 module オブジェクトへのオブジェクトの追加には専用の関数 が便利。モジュールオブジェクトもオブジェクトには違いないので汎用のオプジェクトプロトコルでの操作も可能。

static int spam_exec(PyObject *module) {
    if (PyModule_AddIntConstant(module, "one", 1)) { goto error; }
    if (PyModule_AddStringConstant(module, "s", "string")) { goto error; }
    if (PyModule_AddObject(module, "spam", Py_BuildValue("sss", "spam", "ham", "eggs"))) { goto error; }
    return 0;
error:
    Py_DECREF(module);
    return -1;
}


static PyModuleDef_Slot spam_slots[] = {
    {Py_mod_exec, spam_exec},
    {0, NULL}
};


static struct PyModuleDef spam_module = {
    PyModuleDef_HEAD_INIT,
    .m_name = "spam",
    .m_slots = spam_slots,
};

2.3. モジュールオブジェクトへの関数の追加

PyMethodDef[] を定義して PyModuleDef の m_methods に登録。もっとも簡単なのは次のようなもの。これで def spam(*args): return None 相当の関数ができる。PyMethodDef は名前、実装である C 関数への参照、フラグ、 docstring の 4 つのメンバからなる構造体。 (なお PyMethodDef はクラスをつくってメソッドを追加するときにも使う、登録先が異なるだけで作り方は似ている。そもモジュールの関数というものはモジュールクラスのインスタンスのメソッドでしかないので。)

C 関数の型は PyCFunction であり、その引数は PyObject * 2 つ。１つめにはモジュールオブジェクトが、 2 つめには引数を表す tuple が入ってくる。 (インスタンスメソッドならば 1 つめはインスタンスオブジェクト、クラスメソッドならばクラスオブジェクト、スタティックメソッドであれば NULL になるがこれは別の話)　。なんらかの処理をして PyObject * を返せばそれが Python 呼び出し側への戻り値となる。例外が設定された、もしくは設定したのであれば NULL を返さなくてはならない。

static PyObject *
spam_none(PyObject *self, PyObject *args) {
    // Py_INCREF(Py_None); return Py_None; 相当のマクロ
    // Py_None は Python からは None に見える PyObject へのポインタ
    Py_RETURN_NONE;
}


static PyMethodDef spam_methods[] = {
    {"none", spam_none,
     METH_VARARGS,
     "return None."},
    {NULL, NULL, 0, NULL}
};


static struct PyModuleDef spam_module = {
    PyModuleDef_HEAD_INIT,
    .m_name = "spam",
    .m_methods = spam_methods,
};

引数を解釈する

ここで第 2 引数 PyObject *args には tuple が入ってくるので PyArg_ParseTuple で処理する。第 2 引数のフォーマット文字列でこの関数がどのような引数なら受け付けるのかを指定する。フォーマット文字列に使える文字は PyObject * をそのまま借り受ける O の他、 C の int 型に変換を試みる i とか str, bytes, byte like object を Py_buffer に変換を試みる s* など多数用意されている。ただし limited API 環境だと buffer プロトコルが使用不可であり、 s* や y* など可変 byte like object の抱えている生のメモリ領域に触れる手段は塞がれている。

実行時、フォーマットに一致しない引数が与えられた場合は PyArg_ParseTuple が例外をセットしつつ NULL を返してくるのでエラー処理をした後 NULL を返す。初手 PyArg_ParseTuple としたのであれば即 return NULL で問題ない。

static PyObject *
spam_echo(SpamObject *self, PyObject *args) {
    PyObject *o;

    if (!PyArg_ParseTuple(args, "O", &o)) {
        return NULL;
    }

    // 借り物なのでオウム返しするには所有権を持つ必要がある
    Py_INCREF(o);
    return o;
}

引数を一つも取らないのであれば PyArg_ParseTuple(args, "") を呼ぶか PyMethodDef のフラグとして METH_NOARGS を指定すればよい。引数が一つだけであるのであれば METH_O でも。詳しい説明およびその他のフラグは PyMethodDef にある。

static PyObject *
spam_echo(SpamObject *self, PyObject *arg) {
    Py_INCREF(arg);
    return arg;
}

spam_echo
static PyMethodDef spam_methods[] = {
    {"echo", spam_echo,
     METH_O},
    {NULL, NULL, 0, NULL}
}

初期値持ちのオプション引数を用意したいときはフォーマット文字列を | で区切る。これ以降はあってもなくてもよい引数として解釈され、与えられなかったときには対応する C 変数に変更は加えられないことになる。これで def add(i, j=2018): return i + j のような関数を作ることができる。

static PyObject *
spam_add(SpamObject *self, PyObject *args) {
    int i;
    int j = 2018;

    if (!PyArg_ParseTuple(args, "i|i", &i, &j)) {
        return NULL;
    }

    return PyLong_FromLong(i + j);
}

名前付き引数

いままでの関数の作り方には Pure python で関数を書いたときのと違いがある。キーワード引数に対応していないのだ。 add(1, 2) という呼び出し方はできても add(i=1, j=2) とすることはできない。これを可能にしたいのであれば。まず PyMethodDef のフラグに METH_VARARGS | METH_KEYWORDS を指定。次に PyCFunction の代わりに PyCFunctionWithKeywords を使う。 PyCFunction の 2 引数に加えて名前付き引数を保持した dict が加わる。これを PyArg_ParseTupleAndKeywords で処理する。最後に PyMethodDef には PyCFunction が必要なのでコンパイラに警告・エラーをだされないようキャストする。

static PyObject *
spam_add(SpamObject *self, PyObject *args, PyObject *kw) {
    int i;
    int j = 2018;
    static char *keywords[] = {"i", "j", NULL};

    if (!PyArg_ParseTupleAndKeywords(args, kw, "i|i", keywords, &i, &j)) {
        return NULL;
    }

    return PyLong_FromLong(i + j);
}

static PyMethodDef spam_methods[] = {
    {"add", (PyCFunction)spam_add,
     METH_VARARGS | METH_KEYWORDS},
    {NULL, NULL, 0, NULL}
};

2.4 モジュールオブジェクトに追加のメモリ領域をもたせる

PyModuleDef の m_size に確保したいメモリ領域のサイズを指定するとそれだけのメモリがモジュールオブジェクトごとに与えられる。アクセスするには PyModule_GetState を使う。 PyObject * を保持させることも可能だけれどもメモリリークしないようモジュールのメモリ解放処理であわせて開放されるよう準備しておく必要がある。 PEP 3121 に実装例あり。 PyModule_AddObject でモジュールの属性辞書に持たせるのと比べると辞書を介さずポインタ演算だけで所定のメモリにたどり着けるので加速はする。手間に見合うかどうかは用途による。

#define Py_LIMITED_API 0x03050000
#define PY_SSIZE_T_CLEAN
#include <Python.h>


typedef struct {
    int year;
    int month;
    int day;
} SpamState;


static PyObject *
spam_use_state_sample(PyObject *self, PyObject *args) {
    SpamState *s = PyModule_GetState(self);
    if (s == NULL) { return NULL; }

    return Py_BuildValue("iii", s->year, s->month, s->day);
}


static int spam_exec(PyObject *module) {
    SpamState *s = PyModule_GetState(module);
    if (s == NULL) {
        Py_DECREF(module);
        return -1;
    }
    s->year = 2018;
    s->month = 12;
    s->day = 3;
    return 0;
}


static PyModuleDef_Slot spam_slots[] = {
    {Py_mod_exec, spam_exec},
    {0, NULL}
};


static PyMethodDef spam_methods[] = {
    {"use_state_sample", spam_use_state_sample,
     METH_NOARGS},
    {NULL, NULL, 0, NULL}
};


static struct PyModuleDef spam_module = {
    PyModuleDef_HEAD_INIT,
    .m_name = "spam",
    .m_slots = spam_slots,
    .m_methods = spam_methods,
    .m_size = sizeof(SpamState),
};


PyMODINIT_FUNC PyInit_spam(void) {
    return PyModuleDef_Init(&spam_module);
}

3. Pure Python でよくあるあれこれ、 C だとどう書く？

Python だと数タイプで済むものが数行のコードになったり。

3.1. 基本の型のインスタンス作成

具象オブジェクトレイヤ にある型にはオブジェクトを得るための API が用意されているのでそれを用いる。もしくは Py_BuildValue を使う。後者は複数の基本型を組み合わせた tuple, list, dict を作るときに便利。

// 1
PyLong_FromLong(1);
// 2
Py_BuildValue("i", 2);
// ('spam', 'ham', 'eggs')
Py_BuildValue("sss", "spam", "ham", "eggs");
// {1: 'one', 2: 'two', 3: 'three'}
Py_BuildValue("{isisis}", 1, "one", 2, "two", 3, "three");

これに限った話ではないが。すべての API は失敗しうるので使用時には NULL が返ってきていないかのエラーチェックが必要。

    PyObject *one;
    if (!(one = PyLong_FromLong(1))) { return NULL; }

3.2. 演算子など

抽象オブジェクトレイヤ を参照。

// a.b
PyObject_GetAttrString(a, "b");

// a.b = c
PyObject_SetAttrString(a, "b", c);

// a[b]
PyObject_GetItem(a, b);

// -a
PyNumber_Negative(a);

// a + b
PyNumber_Add(a, b);

// a == b
PyObject_RichCompare(a, b, Py_EQ);
// Py_LT, Py_LE, Py_EQ, Py_NE, Py_GT, Py_GE が
// <, <=, ==, !=, >, >= に対応

// len(a)
PyObject_Size(a);

// isinstance(a, b)
PyObject_IsInstance(a, b);

// repr(a)
PyObject_Repr(a);

// a()
PyObject_CallFunctionObjArgs(a, NULL);

関数呼び出しは亜種がたくさんあるので PyObject_Call など似た名前の API を確認。

3.3. for 文、イテレータの操作

イテレータプロトコル の説明が簡潔かつ完璧すぎてこのコードを引用もといコピペですんでしまう。

PyObject *iterator = PyObject_GetIter(obj);
PyObject *item;

if (iterator == NULL) {
    /* propagate error */
}

while (item = PyIter_Next(iterator)) {
    /* do something with item */
    ...
    /* release reference when done */
    Py_DECREF(item);
}

Py_DECREF(iterator);

if (PyErr_Occurred()) {
    /* propagate error */
}
else {
    /* continue doing useful work */
}

3.4 組み込み関数へのアクセス

リフレクション 参照。 PyEval_GetBuiltins は借用参照を、 PyMapping_GetItemString や PyObject_GetItem は所有参照を返してくるので後始末の Py_DECREF は後者にだけかける。

PyObject *builtins;
if (!(builtins = PyEval_GetBuiltins())) { return NULL; }
PyObject *printfunc;
if (!(printfunc = PyMapping_GetItemString(builtins, "print"))) { return NULL; }

// 使用

Py_DECREF(printfunc);

3.5. import

sys モジュールは専用の PySys_GetObject が存在。

PySys_GetObject("version_info");

sys 以外は モジュールのインポート を参照。 PyImport_ImportModule で概ね事足りる。 PyImport_ImportModuleLevelObject の説明が組み込み関数 __import__ にリダイレクトされているのが興味深い。

PyImport_ImportModule("itertools");

3.6. モジュール変数へのアクセス

モジュール関数の第 1 引数 self はモジュールオブジェクト。なのでこれの属性をとるだけ。 PyObject_GetAttrString を使う。

static PyObject *
spam_spam(PyObject *self, PyObject *args) {
    return PyObject_GetAttrString(self, "spam");
}

3.7 例外のセット

def raise_error(): raise ValueError("spam") のようなものを作るには。例外の送出 を参照。一番手っ取り早いのは PyErr_SetString 。 C から組み込み例外は PyExc_ を頭につけた変数名で見える。一覧は標準例外を参照。

static PyObject *
spam_raise_error(PyObject *self, PyObject *args) {
    PyErr_SetString(PyExc_ValueError, "spam");
    return NULL;
}

4. クラスの作成

4.1. とにかく作ってみる

クラスの作り方もモジュール同様にいくつか方法がある。シングルトンな PyTypeObject を static に確保する方法はチュートリアルにある。今回は limited API 環境ゆえに PyTypeObject のメンバが隠されていてこの方法はとれないので、型定義 PyType_Spec から動的に作る PyType_FromSpec を使う方法を取る。詳しくは PEP 384 Type Objects を参照。 PyTypeObject のメンバは似た名前の slot id を用いて PyType_Slot として設定することで間接に設定できる。例えば Py_tp_iter を設定すれば tp_iter に iter(o) された時に呼び出される関数を登録できる。 PEP にできないと書かれている tp_dict, tp_mro, tp_cache, tp_subclasses, tp_weaklist, tp_print, tp_weaklistoffset, tp_dictoffset は limited API 環境では使用不可。

tp_dictoffset が使用不可ということは、これでつくられたインスタンスは __dict__ を持たず、デフォルトでは実行時に任意の属性を追加することができない。どうしても必要であれば xxlimited モジュールの Xxo クラスの Xxo_getattro と Xxo_setattr のように自力でデスクリプタを書く。もしくは type を 3 引数で呼び出してクラスオブジェクトを作る。ここまで来ると C で書く意義が怪しくなる。 C だけで書ききらず Python で作りかけのクラスを継承して完成させるほうが無難。

#define Py_LIMITED_API 0x03050000
#define PY_SSIZE_T_CLEAN
#include <Python.h>


typedef struct {
    PyObject_HEAD
} SpamObject;


static PyType_Slot SpamType_slots[] = {
    {0, 0},
};


static PyType_Spec SpamType_spec = {
    .name = "spam.Spam",
    .basicsize = sizeof(SpamObject),
    .flags = Py_TPFLAGS_DEFAULT,
    .slots = SpamType_slots,
};


static int spam_exec(PyObject *module) {
    PyObject *spam_type;

    spam_type = PyType_FromSpec(&SpamType_spec);
    if (!spam_type) {
        Py_DECREF(module);
        return -1;
    }
    if (PyModule_AddObject(module, "Spam", spam_type)) {
        Py_DECREF(spam_type);
        Py_DECREF(module);
        return -1;
    }

    return 0;
}


static PyModuleDef_Slot spam_slots[] = {
    {Py_mod_exec, spam_exec},
    {0, NULL}
};


static struct PyModuleDef spam_module = {
    PyModuleDef_HEAD_INIT,
    .m_name = "spam",
    .m_slots = spam_slots,
};


PyMODINIT_FUNC PyInit_spam(void) {
    return PyModuleDef_Init(&spam_module);
}

4.2 メソッドの追加

メソッドを追加するには PyMethodDef[] を tp_methods に設定する。モジュールに関数を書くのとほぼ同じ。第 1 引数 self がこのクラス由来であることは明らかなのでキャストする手間が面倒ならクラス用の構造体型で宣言してしまって構わない。ただし PyCFunction ではなくなってしまうので PyMethodDef に登録するときにキャストがいる。フラグに METH_CLASS を設定すればクラスメソッドを作ることができる。 __init__ は tp_method ではなく tp_init で設定する。

#include <structmember.h>

typedef struct {
    PyObject_HEAD
    long value;
} SpamObject;


int
Spam_init(SpamObject *self, PyObject *args) {
    long v;
    if (!PyArg_ParseTuple(args, "l", &v)) {
        return -1;
    }
    self->value = v;

    return 0;
}


static PyObject *
Spam_get_value(SpamObject *self, PyObject *args) {
    return PyLong_FromLong(self->value);
}


static PyObject *
Spam_set_value(SpamObject *self, PyObject *args) {
    if (Spam_init(self, args)) { return NULL; }

    Py_RETURN_NONE;
}


static PyMethodDef Spam_methods[] = {
    {"get_value", (PyCFunction)Spam_get_value,
     METH_NOARGS},
    {"set_value", (PyCFunction)Spam_set_value,
     METH_VARARGS},
    {NULL, NULL, 0, NULL}
};


static PyType_Slot SpamType_slots[] = {
    {Py_tp_methods, Spam_methods},
    {Py_tp_init, (initproc)Spam_init},
    {0, 0},
};

4.3 インスタンス属性の追加

属性を足すには tp_members を設定する。内容は PyMemberDef[] 。

PyMemberDef のために structmember.h ヘッダのインクルードがいる。忘れずに。

#include <structmember.h>


typedef struct {
    PyObject_HEAD
    long x;
    long y;
} SpamObject;


int
Spam_init(SpamObject *self, PyObject *args) {
    long x, y;
    if (!PyArg_ParseTuple(args, "ll", &x, &y)) {
        return -1;
    }
    self->x = x;
    self->y = y;

    return 0;
}


static PyMemberDef Spam_members[] = {
    {"x", T_LONG, offsetof(SpamObject, x), READONLY},
    {"y", T_LONG, offsetof(SpamObject, y), 0},
    {NULL}
};


static PyType_Slot SpamType_slots[] = {
    {Py_tp_init, (initproc)Spam_init},
    {Py_tp_members, Spam_members},
    {0, 0},
};

property のようになんらかの処理を入れるには tp_getset に PyGetsetDef を設定する。

static PyObject *
Spam_get_point(SpamObject *self, void *Py_UNUSED(ignored)) {
    return Py_BuildValue("ll", self->x, self->y);
}


int Spam_set_point(SpamObject *self, PyObject *arg, void *Py_UNUSED(ignored)) {
    long v[2];
    PyObject *o;

    for (int i = 0; i < 2; ++i) {
        if (!(o = PySequence_GetItem(arg, i))) {
            return -1;
        }
        if (!PyLong_Check(o)) {
            Py_DECREF(o);
            PyErr_SetString(PyExc_TypeError, "int required");
            return -1;
        }
        v[i] = PyLong_AsLong(o);
        Py_DECREF(o);
        if (v[i] == -1 && PyErr_Occurred()) {
            return -1;
        }
    }

    self->x = v[0];
    self->y = v[1];

    return 0;
}


static PyGetSetDef Spam_getset[] = {
    {"point", (getter)Spam_get_point, (setter)Spam_set_point},
    {NULL}
};


static PyType_Slot SpamType_slots[] = {
    {Py_tp_init, (initproc)Spam_init},
    {Py_tp_members, Spam_members},
    {Py_tp_getset, Spam_getset},
    {0, 0},
};

5. 終わり

とりあえずここまで。 async 関連など C から扱ったことがないものもまだまだあるので、年末にはこれらに触れてみたいと思っているところです。では、よい Python/C API ライフ（？）を。

仕事をしている中でとても気になるのが「いま話をしたい人が席にいるかどうか」だと思います。弊社では Slack を使って仕事のやり取りをしていますが、問いかけになかなか反応しないときに、反応できない状態なのか、そもそも席にいないのかわからないままもやもやすることってよくあるんじゃないかなと思います。そこで、「いま席にいるか」を問いかけると返事してくれるシステムを作りました。サーバー プログラミングのお勉強もかねてます。

Olkar

Olkar (おるか) っていいます。名前付けは適当です。
状態管理と Slack BOT を兼ね備えたサーバー システム、状態を通知するクライアント システムの 2 つをあわせたものです。

サーバー構成

サーバーは ASP.NET Core + SignalR + C# で作っていて、OS は Debian Stretch です。

クライアントとサーバーとの間で SignalR によるリアルタイム通信が実装されています。

SignalR での実装

何も考えずに ASP.NET Core Web アプリケーションとしてプロジェクト作りました

SignalR での実装に参考にしたのは Microsoft の公式ドキュメントですが、チュートリアルでは Web ページでも動作するための準備も含まれていて、今回はページとしてリアルタイムで何か見ることはしないので、unpkg での SignalR クライアント ライブラリの追加は省略します。

あとはしこしこと実装するだけです。
Hub には状態を変更するためのメソッドと、現在の状態を知るためのメソッドを用意しました。

public class OlkarHub : Hub
{
    public OlkarStatusModel Status { get; private set; }

    public OlkarHub(OlkarStatusModel model)
    {
        this.Status = model;
    }

    /// <summary>
    /// ステータスを更新します。
    /// </summary>
    /// <returns></returns>
    public async Task SetStatus(Status status)
    {
        this.Status.Status = status;

        await Clients.All.SendAsync("Status", status);
    }

    /// <summary>
    /// 現在のステータスを取得します。
    /// </summary>
    /// <returns></returns>
    public async Task GetStatus()
    {
        await Clients.Caller.SendAsync("Status", this.Status.Status);
    }
}

ここで OlkarStatusModel は状態を管理するクラスのことをさします。このままだと、接続しているインスタンスがいなくなると状態が破棄されてしまうので、DI として登録しておき、いつでも状態を呼び出せるようにしておきます。
登録は Startup.cs でできます。

public void ConfigureServices(IServiceCollection services)
{
    (略)
    services.AddMvcCore();
    // Singleton として登録しておくことで、プロセスが生きている間は状態が保持される
    services.AddSingleton<OlkarStatusModel>();
    (略)
}

呼び出したいときは、コントローラーとなったクラス (今回は OlkarHub) のコンストラクター引数に、呼び出すクラスを書いておくとインスタンスを挿入してくれます。

SignalR を有効にするため、Startup.cs にいくつか追記します。

public void ConfigureServices(IServiceCollection services)
{
    (略)
    services.AddSignalR(config =>
    {
        // 明示的にしておくことで、勝手にタイムアウトしていくのを防ぐ
        config.HandshakeTimeout = TimeSpan.FromSeconds(15);
    });
    (略)
}

public void Configure(IApplicationBuilder app, IHostingEnvironment env)
{
    (略)
    // SignalR のルート
    app.UseSignalR(routes => routes.MapHub<OlkarHub>("/olkar"));
    (略)
}

これで SignalR 側の実装はだいたい終わり。Nginx と連携したリバースプロキシの設定や、https 接続の有効化、実行の方法はだいたい Microsoft のドキュメントを見るとわかるので省略します。

Slack API の実装

めっちゃめんどくさかった
実装には この記事がいろいろ参考になりました。

Slack に対してお伝えするためのルーティングは、「属性ルーティング」と呼ばれる仕組みで実装しています。

Slack が呼び出し先として認知させるためのベリファイを実装します。送られてきたデータのうち Challange を何らかの形で返すようにします。JSON のパースはおなじみ Json.NET です。

[Route("slack")]
public class SlackController : Controller
{
    [Route("request")]
    public async Task<IActionResult> SlackRequest([FromBody] object request)
    {
        if (!(request is JObject jObject))
        {
            return Forbid();
        }

        var type = jObject["type"];

        switch (type.ToString())
        {
            case "url_verification":
                var verify = jObject.ToObject<SlackVerifyHandshakeModel>();
                return Verify(verify);
            default:
                break;
        }

        return Content(request.ToString());
    }

    private IActionResult Verify(SlackVerifyHandshakeModel message)
    {
        // Content で HTTP 200 を返しつつ応答メッセージを返せる
        return Content(message?.Challenge ?? "NULL");
    }

public class SlackVerifyHandshakeModel
{
    [JsonProperty("token")]
    public string Token { get; set; }
    [JsonProperty("challenge")]
    public string Challenge { get; set; }
    [JsonProperty("type")]
    public string Type { get; set; }
}

request にやってくるデータが時と場合によってバラバラなので、JsonConvert.DeserializeObject<T>(string) ではなく JObject として拾って処理しました。中身が確定したらその都度変換しています。

あとは参考にした記事通り、追加したい Workspace に対して App を新規追加し、Event Subscriptions の Request URL にアドレスを記述して問題ないかを確認します。「Verified」が出れば OK

今後はこのアドレスに対していろいろとメッセージが降ってくるようになります。

さきほどの SlackRequest メソッドにたくさんのメッセージがくる中、type が event_callback になっているものに対して処理を掛けます。
BOT に対してのメンションが取りたいので、Request URL を入れたページの下の方にある「Subscribe to Bot Events」で、メンションを受け取るための app_mention を有効にしておきます。DM でも何か欲しい場合は message.im も有効にしておくとよいでしょう。

event_callback としてやってきたデータには、event と呼ばれる階層ができています。そこの type を見て処理を書けば OK です。さきほど app_mention を有効にしたので、 "type": "app_mention" と書かれたデータがやってきます。message.im も有効であれば、"channel_type": "im" も飛んできます。

private async Task<IActionResult> EventCallback(JObject jsonObject)
{
    var eventJson = jsonObject["event"];
    var eventType = eventJson["type"];

    // 基本情報
    var user = eventJson["user"];
    var item = eventJson["item"];
    var channelType = eventJson["channel_type"]?.ToString() ?? string.Empty;

    switch (eventType.ToString())
    {
        case var d when d == "message" && channelType == "im":
        case "app_mention":
            Log($"<<- {eventJson}");
            await ParseMessageAsync(eventJson);
            break;
        default:
            break;
    }

    return Ok();
}

あとはパースして処理してやれば OK です。BOT の応答にも返事しないように、 "subtype" : "bot_message" は排除します。

private async Task ParseMessageAsync(JToken message)
{
    var subtype = message["subtype"];
    if (subtype?.ToString() == "bot_message")
    {
        return;
    }

    var messageId = message["client_msg_id"];

    var channel = message["channel"];
    var text = message["text"];
    var user = message["user"];

    // 前に発言したのと全く同じのがきていたら無視
    if (messageId != null)
    {
        Log("Client Message Id: " + messageId);

        if (messageId.ToString() == previousMessageId)
        {
            return;
        }

        previousMessageId = messageId.ToString();
    }

    await ExecuteCommandAsync(channel.ToString(), user.ToString(), text.ToString());
}

Slack へのメッセージの送信は chat.postMessage に POST すれば OK です。「OAuth & Permissions」で拾ってきた BOT 用 OAuth Token をパラメーターに入れておくことで BOT の投稿として処理されます。
ユーザーへの返事は <@USER0123> のように、ユーザー名ではなく専用のユーザー ID に置き換えますが、その辺は処理するときに受け取った情報でどうにかなるのであまり気にしなくていいでしょう。

private async Task SendMessageAsync(string channel, string message)
{
    var contentDict = new Dictionary<string, string>
    {
        { "token", OAuthToken },
        { "channel", channel },
        { "text", message }
    };
    var content = new FormUrlEncodedContent(contentDict);

    // フィールドに HttpClient http = new HttpClient(); がいます
    var result = await this.http.PostAsync("https://slack.com/api/chat.postMessage", content);
}

これであらかたおわったはず。

クライアントの実装

記事を書いてたらだんだん疲れました
常駐させておきたかったので WPF で実装し、通知領域に生きてもらうようにしています。
クライアントには SignalR をどこからか入れる必要があるので、Nuget で Microsoft.AspNetCore.SignalR.Client を探して入れておきます。Microsoft.AspNet.SignalR.Client もありますが、こっちは今回使いません。

今回は「PCがロック状態になったかどうかで在席・離席を管理」したかったので、ロック状態を検知できるようにします。
Microsoft.Win32.SystemEvents.SessionSwitch イベントでそれを拾うことができます。

private async void SystemEvents_SessionSwitch(object sender, SessionSwitchEventArgs e)
{
    if (e.Reason == SessionSwitchReason.SessionLock)
    {
        Console.WriteLine($"{DateTimeOffset.Now:yyyy/MM/dd HH:mm:ss} セッションがロックされました");
    }
    else if(e.Reason == SessionSwitchReason.SessionUnlock)
    {
        Console.WriteLine($"{DateTimeOffset.Now:yyyy/MM/dd HH:mm:ss} セッションが復帰しました");
    }
}

あとは Microsoft のドキュメントを見ながら Hub を実装すれば OK です。サーバーでは状態の更新のために SetStatus を準備したので、

await this.Hub.InvokeAsync("SetStatus", status);

というように実装しておきます。
状態のコールバックは Status として用意しているので、

this.Hub.On<Status>("Status", s => this.Status = s);

などと書いておけば OK です。 Status は列挙型で、状態を表す値を入れています。

こうなる

今後の展望

SignalR で実装しているので、ほかのデバイスとも連動して状態をリアルタイムで表示できるようにしたいです
今は PC がロックされたかどうかでしか見ていませんが、ほかの状態を検知して、完全自動化を目指したいです

お粗末様でした

FirebaseAnalyticsについて

ざっくりと説明するとアプリ上等に埋め込んだイベントを集計してユーザーの行動を計測出来るFirebase上の機能です
詳細はマニュアルへ

利点

サーバ側実装が不要

基本的に実装はクライアント側だけでも完結します
ただし集計用データの設計は必要なためサーバー側のデータとまとめて集計する場合はデータ設計に注意

デフォルトで取ってくれる情報が多い

年齢、性別、端末情報等は特に何もしなくても取ってくれます
Firebaseの他の機能のログも取ってくれたりするので併用する場合は追加の実装をしなくてもデータが取れる場合があります

Firebaseの他の機能やGoogleのサービスと連携しやすい

上記にもある通りデフォルトで情報を取ってくれたりBigQueryとの連携が容易だったりします

視覚化しやすい

デモプロジェクトより

このように地域毎のアクティブユーザーが視覚化できたり
イベント数をグラフ化してくれたりします

欠点

コンソール上でユーザープロパティが25個までしか設定できない(2018/12/05 現在)

コンソール上で見れるユーザープロパティは25個まで
名前の変更も不可能なので注意
それ以上のユーザー分類をする場合はBigQueryを使う必要があるようです

ユーザー個人の情報はそのままだと見れない

一応BigQuery等と組み合わせれば見れたりするようです
FirebaseAnalyticsはあくまで全体を見るためのツールという位置づけの模様

導入理由

とあるUnity製アプリに新しく入れた機能の利用率や離脱率の計測をするために導入しました

導入方法

公式の導入マニュアルがわかりやすいためここでは割愛します

機能

機能一覧はこちら

今回の要件

今回は以下のものを計測したいという要件がありました

• ON, OFF可能な機能なのでユーザーがどちらを選んでいるのか
• ONにした場合ユーザーが機能のどの部分で離脱したか
• 離脱した場合の可能な限りの詳細ログ

実装方法について

ON, OFF可能な機能なのでユーザーがどちらを選んでいるのか

ユーザー毎に状態を持つこととなるためUserPropertyでON, OFFの状態を持ちました

UserProperties.SetProperty("Enable", true);

ONにした場合ユーザーが機能のどの部分で離脱したか

各状態毎にイベントを飛ばすことで計測しました

FirebaseAnalytics.LogEvent("Phase1");

離脱タイミング等フローが決まっているものに関しては 目標達成プロセス を設定しておくと視覚化しやすいです

離脱した場合の可能な限りの詳細ログ

ユーザーの選択次第で途中で該当の機能を抜けることができたため、離脱時のログをイベントを飛ばす際に カスタムパラメータレポート として付与しました

FirebaseAnalytics.LogEvent(
    "Phase1Away",
    new Parameter("Away log"));

計測した結果何があったか

機能リリース当初はフロー調整の指標やバグの特定に役立ってくれました
実装が落ち着いた今でも特定地域でのみ起きやすい問題の追跡がしやすいため時々活躍します

この記事は KLab Engineer Advent Calendar 2018 の6日目のエントリです。

最近のmacOSでは新しいファイルシステムが採用されていて、ファイルコピーが一瞬でできますよ、性能改善やストレージの空き容量を増やすのに役立つかもしれませんよ、という話を紹介します。

最近のmacOSのファイルシステム：APFS

まず最近のMacのファイルシステムについて紹介します。2017年9月リリースのmacOS 10.13 (High Sierra) 以降、macOSでは標準のファイルシステムとしてAPFS (Apple File System) が採用されています。これはコピーオンライトファイルシステムというジャンルに属するもので、同じファイルを作成する際に実体を共有して、どちらか一方が更新された時に初めてファイルコピーを行うような仕組みを持つ、モダンなファイルシステムです。同様のファイルシステムとしてはZFSやBtrfsが挙げられます。

APFS上で実体を共有したファイルコピーを行う

そんな特徴を持ったAPFSですが、単にcpコマンドでファイルコピーをしても従来通りに別の実体を作ってしまい、APFSのメリットは生かせません。実はmac OS 10.13以降、標準のcpコマンドにAPFSのためのオプションが一つ追加されています。

$ man cp
（略）
     -c    copy files using clonefile(2)

cpコマンドに -c オプションをつけると clonefile システムコールを使ってコピーしてくれるんだそうです。これはまさに我々が求めている、実体を共有した形でのコピーです。

これを使ってコピーを行うと、ファイルのコピーは一瞬で終わります。約300MBのファイルをコピーしてみましょう。

$ /usr/bin/time cp -c pycharm-community-2018.3.dmg f1
        0.00 real         0.00 user         0.00 sys
$ /usr/bin/time cp -c pycharm-community-2018.3.dmg f2
        0.00 real         0.00 user         0.00 sys
$ /usr/bin/time cp pycharm-community-2018.3.dmg f3
        1.60 real         0.00 user         0.29 sys
$ /usr/bin/time cp pycharm-community-2018.3.dmg f4
        0.96 real         0.00 user         0.23 sys

-c オプション付きで2回、 -c オプションなしで2回、ファイルのコピーを行なってみました。前者は0.01秒未満で実行終了しているのに対し、後者は約1秒から1.5秒ほどかかっています。どうやら2桁くらい速度が違いそうですね¹。

また、df コマンドでディスクの空き容量を観察していると、 cp -cでは空き容量が1バイトも減りませんでした。コピーが速くてストレージ容量も消費しないということですから、いいことづくめですね。

cp -cの利用シーン

さて、この cp -c による速いコピーは何に使えるでしょうか。

まず、バイナリビルドやアセットビルドの際にファイルコピーがボトルネックになっているような部分があれば、コピーをcp -cに変更することで性能改善になる可能性があります。

また、UnityプロジェクトだとSwitch Platformを避けるため同一プロジェクトのコピーを複数持つようなことをされている方も多いかと思います。このような場合に、ワーキングコピー全体を cp -cr でコピーすればストレージにはずいぶん優しくなるはずです。

存在する重複ファイルを検出し、cp -cによって実体を共有することでディスク容量を削減することもできるでしょう。すでにそのような試みも行われています²。

まとめ

• 最近のmacOSではAPFSというファイルシステムが採用されている
• APFSでは cp -c でファイルの実体を共有したコピーが実現できる
  • 実体を共有したファイルのどれか1つが変更されると、そのタイミングで初めてファイルコピーが行われる
• cp -cを利用すれば性能改善やディスク空き容量増加などのメリットが得られるのでは

ハードリンクを使えば同様のディスク容量削減は実現できるのですが、ハードリンクだと編集する際に注意しないと全ファイルを書き換えてしまって事故につながる可能性があります。ファイルシステムの機能で「安全なハードリンク」を実現できるのは嬉しいですね。

APFSはまだ登場から歴史が浅いので、全面的に信用していいかどうか判断が難しいところかもしれません。とはいえ魅力的な機能を提供しているように思いますので、使えるところでは積極的に使っていきたいと個人的には考えています。

この記事は KLab Engineer Advent Calendar 2018 7日目の記事です。
Advent Calendar は去年に続き参加する mizusawa-k です。よろしくお願いします。

※本記事はユニティちゃんのモデルを利用して執筆し、ユニティちゃんライセンス条項の元に提供しています
© Unity Technologies Japan/UCL

はじめに

今月頭に Tokyo Demo Fest が行われました。
KLabのエンジニアでも何名か参加していて5名も入賞するという素晴らしい成果が出ていますが、
参加してきた話を私自身聞いていて

何か面白そうだな。普段はビルドとかUI実装やってるけど、
自分もシェーダーとか使って絵作りしてみたいんだよね。

と思っていたところ、ちょうどAdvent Calendarに参加する予定がありいいきっかけだったので¹
今回は普段使っているUnityで、シェーダー始めグラフィックス周辺の技術の深堀がてら、
ちょっと変わった絵をリアルタイムで出せるようにしたいと思いました。

なぜ、Image Effectでマンガ風の画面か

今回は本当に思いつきから始まったのですが、
「3D画面がマンガみたいな線とベタ、トーンだけの見た目で動いたら面白そう」
というところが取っ掛かりでした。

私自身、4年くらい前、前職でやっていた仕事で、
iOS端末上で動作するカメラ写真の線画抽出プログラムを OpenCV で作った経験があったのですが
その時に感じた
「（色彩、階調豊かな）見慣れた景色が白黒の線とベタ、トーンで置き換えられた時のインパクト」
がなかなか忘れがたく、面白いものがあったので、
今回は、同じようなことをUnityで実装するためにはどうしたら（手早く）作れるかなということを考えました。
マンガ風の画面を作りたいなと思ったのはそういう取っ掛かりです。

ImageEffectを使った実装にした理由はひとことで言えば、
「Unity 5.4で簡単に実装するのに使えそうだから
（Unity社からアセットがソースコードが見える状態で提供されていて、シェーダー初心者でも取っ付きやすそうだから）」
です。

参考までに、ImageEffectに決めた経緯はざっくり以下のようなかんじです。

• 使用するUnityのバージョンは5.4系のみ（会社のPCで、業務の片手間でやるため）

• 以前iOSで使った経験があるOpen CVを使うなら

  • Unity向けラッパーアセットが有料で出ているのでそれを使うかプラグインを書くかの二択²
  • 有料アセットはそこそこいいお値段するので今回はパスしておきたい
  • プラグインは実装とか確認が手間だと思うので今回はあまり使いたくない

• というか、今回はそもそもカメラとかシェーダーとか、3D周りの勉強したい

• 画面全体に効果をつけるならポストエフェクトというものを使うと良いらしい

• Unityでは5.4までのポストエフェクトにはImage Effectを提供している

• Unityが提供しているStandard Assetsの中にあるものでそのまま使えそうなImageEffectが結構ある

• 結論：何か良さそうだからImageEffect使ってみる

マンガ風の画面とは

マンガ風の画面のイメージ

以下のような、マンガ風写真加工アプリで作れる画像のような画面を想定しています。

　→　

マンガ風写真加工アプリは以下のようなものがあるようです。

• 漫画コミックカメラ - 無料で写真をマンガ化。撮影した写真やカメラロールの画像をフィルターで線画加工、漫画風に画像加工
• 漫画カメラ

これらのアプリでは、写真を線画とベタ、トーンの画像に変換出来るほかに、
集中線を重ねてさらにマンガっぽく出来るようになっていたりします。なかなか面白いです。

※「マンガ風の画面のイメージ」で紹介した画像は、箇条書き一つ目の「漫画コミックカメラ」で作成しています。

マンガ風の画面の要素

画面の要素としては以下です。

• 輪郭が細い線画で描かれている
• 明るい部分が白で描かれている
• 暗い部分が黒（ベタ）で描かれている
• 明るい部分と暗い部分の中間の部分がトーンで描かれている

今回は時間の都合上、最後のトーンの部分は割愛し、
簡単に出来そうな白と黒（ベタ）だけの画面を作って行きたいと思います。

実際に作ってみる

前置きが少し長くなりましたが、実際に作っていきます。

開発＆実行環境

• Unity 5.4.2 p2
• PC, Mac&Linux Standalone

マンガ風の画面を作るまでの流れ

今回は、ImageEffectを使って色々と手を動かしていった結果、
最終的に得たい絵を出すまでの流れが以下のようになりました。

1. 線画のみ抽出した絵をRenderTextureに書き出す
2. ベタのみ抽出した絵をRenderTextureに書き出す
3. 書き出した線画とベタのRenderTextureを一枚の絵としてまとめる
4. まとめた絵をメインカメラに映す

RenderTextureというのは、カメラに映っている絵を
画面外の画像として描き出しておくことができるUnityの機能です。
RenderTextureを使う事で、例えば毎フレームの描画処理を軽減したり、
ライブシーンでよく見られるモニター画像をリアルタイムに描き出すような
表現の幅を広げたりすることができます。

今回は簡単に絵を出してみたかったので、撮りたい絵の位置などを決めた後、
必要なRenderTextureごとにカメラを複製してヒエラルキ上に配置しました。

カメラに映っている絵をRenderTextureに描き出す方法

プロジェクト上にRenderTextureを新規作成してから、
描き出したいカメラをヒエラルキ上で選択して、カメラのインスペクタ上でターゲットにRenderTextureを設定します。

ベタ用カメラ（Beta Camera）のTargetTextureにベタ用RenderTexture（BetaRenderTexture）を設定

線画用カメラ（Line Camera）のTargetTextureに線画用RenderTexture（LineRenderTexture）を設定

カメラのターゲットにRenderTextureを設定した後は、
プロジェクト上でRenderTextureを選択した際にインスペクタ上に表示される情報に
カメラからRenderTextureに書きこまれた絵が表示されるようになります。

RenderTextureのインスペクタ

RenderTextureの設定では描き出すテクスチャのサイズを設定できますが、
今回は16:9でそれなりの解像度で画面に出したかったので 1440 * 768 というサイズ設定で統一させました。

カメラに映っている絵にImageEffectを適用する方法

カメラにImageEffectのコンポーネントをつけて、パラメータを調整するだけです。

UnityのStandard AssetsにはいろいろなImageEffectがありましたが、
今回私が使用したのは以下のImageEffectです。

今回利用した Unity StandardAsset の ImageEffect

今回そのまま利用したのは EdgeDetection の ImageEffect のみですが、
この理由は線画抽出を手早く簡単に実現したかったためです。

ImageEffect のコンポーネントをつけたカメラは、たとえば線画なら以下のようになりました。

EdgeDetectionが複数ついているのは、片方だけだと髪の線画と顔周りの線画どちらかだけになってしまったからです。
両方同時に出すために、二つの線画抽出処理を実行させるようにしています。

カメラから得られた絵に対して線画のイメージエフェクトを適用した結果は以下です。

線画イメージエフェクトの適用結果

↓

ベタのImageEffectの自作

ベタの絵を出すのにあたっては、
適切そうなImageEffectがStandardAssetsになかったので、自作を考えました。
とは言え、イチからイメージエフェクトやシェーダーを作るのもちょっと大変そうだったので、
流用してちょっと調整することが出来ないかと考えました。
StandardAssetsを眺めていたところ、ちょうどイメージエフェクトの中に
画面をグレイスケールに変換するというGrayScaleEffectというものがあったので
それを流用するようにしました。

基本的には影の部分など、特定の暗さの部分を陰のような形で出せればいいなと思ったので、
とりあえず輝度を見て、一定の範囲内の濃度なら指定された色として、範囲外なら透明にするようにしています。
指定色以外のピクセルを透明にするようにしたのは、後述する線画との合成するデカールシェーダーとの都合です。

ベタのImageEffectのコード（Unityのインスペクタ上で表示されるインターフェース部分）は以下です。

using System;
using UnityEngine;
using UnityStandardAssets.ImageEffects;

namespace ComicShader.ImageEffects
{
    /// <summary>
    /// 濃度の上限と下限を指定して、指定した色でベタ塗りするイメージエフェクトです
    /// 指定範囲外の濃度の部分は透明な色になります
    /// </summary>
    [ExecuteInEditMode]
    [AddComponentMenu("CommicShader/ImageEffects/ThresholdImageEffect")]
    public class ThresholdImageEffect : ImageEffectBase {

        /// <summary>
        /// ベタで塗る色（注：濃度しか見られていないので彩度のある色指定は未対応）
        /// </summary>
        public Color    color;

        /// <summary>
        /// 上限値
        /// </summary>
        [Range(0.0f,1.0f)]
        public float    upperThresholdValue;

        /// <summary>
        /// 下限値
        /// </summary>
        [Range(0.0f,1.0f)]
        public float    lowerThresholdValue;

        // Called by camera to apply image effect
        void OnRenderImage (RenderTexture source, RenderTexture destination) {
            material.SetColor("_Color", color);
            material.SetFloat("_ThresholdUpper", upperThresholdValue);
            material.SetFloat("_ThresholdLower", lowerThresholdValue);
            Graphics.Blit (source, destination, material);
        }
    }
}

このインターフェースでこのようなインスペクタが表示されます。

ベタのイメージエフェクトのインスペクタ表示

ベタのImageEffectのシェーダーコード（実際にテクスチャの色を弄ってる部分）は以下です。

Shader "Shader/ThresholdShader" {
Properties {
    _MainTex ("Base (RGB)", 2D) = "white" {}
    _RampTex ("Base (RGB)", 2D) = "grayscaleRamp" {}

    // ThresholdShader追加分
    _Color ("Color", Color) = (1,1,1,1)
    _ThresholdUpper ("ThresholdUpper", Range(0.0,1.0)) = 0.0
    _ThresholdLower ("ThresholdLower", Range(0.0,1.0)) = 0.0
}

SubShader {
    Pass {
        ZTest Always Cull Off ZWrite Off

CGPROGRAM
#pragma vertex vert_img
#pragma fragment frag
#include "UnityCG.cginc"

uniform sampler2D _MainTex;
uniform sampler2D _RampTex;
//uniform half _RampOffset;     // 不要なのでコメントアウト
half4 _MainTex_ST;

// ThresholdShader追加分
uniform half _ThresholdUpper;
uniform half _ThresholdLower;
fixed4 _Color;


fixed4 frag (v2f_img i) : SV_Target
{
    fixed4 original = tex2D(_MainTex, UnityStereoScreenSpaceUVAdjust(i.uv, _MainTex_ST));
    fixed grayscale = Luminance(original.rgb);

    half2 remapC = 0;
    half2 remapA = 0;

    if (_ThresholdLower < grayscale && grayscale < _ThresholdUpper)
    {
        remapC = _Color;
        remapA = 1;
    }

    fixed4 output = tex2D(_RampTex, remapC);
    output.a = remapA;
    return output;
}
ENDCG

    }
}

Fallback off

}

カメラから得られた絵に対してベタのイメージエフェクトを適用した結果は以下です。

ベタイメージエフェクトの適用結果

↓

線画とベタを合成する

線画とベタを合成する部分は、
テクスチャの上に汚れやシミなどのテクスチャを重ねる際などに使用する
DecalというシェーダーがUnityのプリインストールに入っているらしい記事を見かけたので、
Decalシェーダーを使用して実装しました。

実装にあたっては、
CommicMaterial という名前のマテリアルをプロジェクト上に新たに作成して、
作成したCommicMaterialにDecalシェーダーと線画＆ベタのTextureをそれぞれ設定しています。

線画とベタをまとめるCommicMaterialのインスペクタ表示

今回は

• Base に線画の RenderTexture（LineRenderTexture）
• Decal にベタの RenderTexuture（BetaRenderTexuture）

といったかたちでそれぞれ設定しました。

合成した絵をメインカメラで表示する

メインカメラでの描画にあたっては、
あまりうまい方法ではない気がしましたが簡単に絵を出せる方法として
uGUIのCanvasを作り、CanvasにCommicMaterialを設定して、
メインカメラからCanvasのみを映す形にしました。

ちょっとわかりにくいですが、シーンはこんなかんじになっています。

シーンビューでCanvas, Cameraの配置を確認した表示

また、せっかくリアルタイムで動くシェーダーで描いているので、
最終的にメインカメラで描画される絵に動きをつけることを考えてみます。

キャラクター自身が身体を動かしたり表情を変えるようなアニメーションを付けるのも考えましたが、
今回はカメラの方をキャラクターを中心にくるくると回転移動させることにします。
（Canvasを映しているメインカメラではなく、線画とベタのRenderTextureを描き出しているカメラ二つの方）

キャラクターを中心に線画とベタそれぞれを描き出しているカメラを回転移動させるために、
線画とベタの ImageEffect がついたカメラを一つの GameObject の子としてまとめて、
二つのカメラをまとめた GameObject に以下のようなコンポーネントを付けます。

using UnityEngine;
using System.Collections;

/// <summary>
/// 設定したターゲットを中心として、Y軸で回転し続けるスクリプト
/// </summary>
public class Revolver : MonoBehaviour {

    /// <summary>
    /// 一秒で回転させる角度
    /// </summary>
    public  float angle = 50f;

    /// <summary>
    /// 回転の中心となるターゲット
    /// </summary>
    [SerializeField]
    Transform target;

    void Update () {
        Vector3 targetPos = target.transform.position;
        Vector3 axis = target.TransformDirection(Vector3.up);

        // ターゲットを中心にY軸で毎秒angle分だけ回転させる
        transform.RotateAround(targetPos, axis, angle * Time.deltaTime);
    }
}

上記のコンポーネントを付けると、以下のような形で回転する角度とターゲットが設定できるようになっています。

Revolver をコンポーネントとしてつけた GameObject のインスペクタ表示

回転する角度は実行時にも書き換えられるので、いったんデフォルト値のままとしますが、
ターゲットはユニティちゃんを設定しておきます。

今回作ったマンガ風画面の表示結果

作成したマンガ風画面の実行結果は以下のようになります。

Unityのエディタ上で動かしているシェーダーなので、
例えばベタのイメージエフェクトで閾値を変更すればベタの領域を広げる・狭くするということも出来ますし、
線画のイメージエフェクトでModeを変更すれば線画の微妙な出方を変更したり出来ます。

今後の改良点

今回はひとまず絵を出すことを目標として進めましたが、
今後より実用的なものにするためには

• トーンのシェーダーを追加する
• 線画、トーン、ベタ全てをマンガ風シェーダー（マテリアル）にまとめてパラメータでトーンやベタの出方を設定できるようにする
• 実機でのシェーダーの容量や速度面での最適化する

といった改良点が考えられると思います。

また、絵作り的な面では、線画抽出のシェーダーを自作するというのも面白いかもしれません。
このあたりの改善は、次の 技術書典 の原稿あたりで出来たらいいな。と思います。³

おわりに

ここまで、駆け足ですが Unity の ImageEffect を使ってマンガ風の画面を出す方法を紹介していきました。
私自身はシェーダーはちょっとかじったレベル（シェーダープログラムをいくつか写経したくらい）で、
ImageEffect も RenderTextureも初めて触りましたし、
自分が作りたい絵を出すためにシェーダーを書くのは今回が初めてでしたが、
業務の傍らググりながら2, 3日程度の期間で何とか形にする事ができました。

こうして実際に動くもの、絵が出来てくると、
来年の Tokyo Demo Fest も参加考えてみようかなという気持ちになってきます。
Tokyo Demo Fest、ちらっと見たところ、4K以内のファイルで動画をレンダリングするような
ストイックな部門だけではないようです。

せっかく色がある画面をモノクロにまで情報落とすのも何だかもったいないかんじもありますが、
色鮮やかな映像が溢れている3Dコンテンツの中でモノクロマンガ的な絵が動いていると
それだけで少し目新しいかんじを受けられるのではと思います。
マンガ系のIPコンテンツで、ここぞというところの演出で使うのも面白いと思います。

今後の改良点にまとめた通り、現状はまだ最初の一歩というような内容ではありますが、
Unity 5 ～ 5.4のバージョンで開発しているアプリなどでは参考に出来る情報もあるかと思います。
自分の備忘録がてらつらつらまとめたところもあり
内容の割に少々長い記事になってしまったという感も否めないですが、
本記事が読者の皆様の Unity での3Dゲーム作り、絵作りの一助となればうれしいです。

明日の Advent Calendar は @hohean さんです。お楽しみに。

この記事は KLab Engineer Advent Calendar 2018 の8日目のエントリです。

はい。前日まで何も準備できてなかったほっへんです。
Unity2018のこと書くとかいいながら今回はUnityでプロジェクト開発した際に作ってみて便利だったツールを紹介します

その名もUnityの各シーンをモックデータで再生してくれる君

（なげぇ

え？普通にシーンのPlayボタンを押せばよくね？って思ったあなた。甘いです！

https://github.com/luckin403/editor-play-starter
（サンプルもあるよ！

どういうケースで使えるの？

Unityでプロジェクト開発をする場合、当然APIサーバを用意する訳ですがサーバ側の実装が終わってなかったり、初期化処理やログイン等の処理が最初のシーンにしかないあまりに以下ような経験を方もいらっしゃると思います

• 自分が作ったシーンの動作を確認するためにいちいち最初のシーンから再生する必要があるのがめんどい！！
• 自分のシーンを作ったはいいが遷移元のシーンがまだ実装中なので確認できない...
• サーバ側の実装はまだなのでモックデータで動かしたいけど、つなぎ込み時モック消したり、ビルドされたバイナリにモックデータ(デバッグ用コード)が含まれてほしくない...
• シーンの初期化処理はAwake/Startで行っているので、それより前にモックデータを注入したい

EditorPlayStarterはそれらの悩みを解決してくれます

使い方

まずは各データやプラグインの初期化処理、ログインリクエスト処理等を以下の箇所に記載します

https://github.com/luckin403/editor-play-starter/blob/master/Assets/Product/Script/Editor/EditorPlayStarter.cs#L40-L55

static void InitializeApp(Action loadMockDataScene)
{
    InitData();
    RequestLogin(loadMockDataScene);
}

static void InitData()
{
    // データを初期化したりー
}

static void RequestLogin(Action callback)
{
    // ログイン処理を行ったりー
    callback();
}

次に各シーンのモックデータの記述とシーンのロード処理を記述します
もしサーバの実装が完了している場合はここにHomeInfoを取得するために必要なリクエスト処理を記述します
ちなみに記述する場所はEditorスクリプトにあたるのでバイナリのビルド時には含まれません！（ログインの箇所ももちろん同じ

https://github.com/luckin403/editor-play-starter/blob/master/Assets/Product/Script/Editor/EditorPlayStarter.cs#L23-L34

private static readonly Dictionary<string, Action> ReloadActionBySceneName = new Dictionary<string, Action>
{
    // ここにシーン名ごとのモックデータでのロード処理を書いてください
    {
        "Home",
        () =>
        {
            // モックデータ
            HomeSceneEntry.HofeInfo = new HomeInfo("プレイヤー名", "コメント", 99); // 今回は雑にstatic空間に...
            SceneManager.LoadSceneAsync("Home");
        }
    },
};

あとは↓のようなOnValidateを再生したいシーンの各HierarchyルートのGameObjectにアタッチします

https://github.com/luckin403/editor-play-starter/blob/master/Assets/Product/Script/BaseEntry.cs#L7-L13

void OnValidate()
{
    if (Application.isPlaying && UnityEditor.EditorPrefs.GetBool("MockReloadMode"))
    {
        gameObject.SetActive(false);
    }
}

あとはシーンを再生するだけ！

仕組み

EditorPlayStarterでは大きく２つのことをやっています

1. UnityのPlayボタンを検知してシーンの再ロード処理を行う
2. 再ロード直前に発火にするAwake/OnEnable/Startの暴発対策

1のPlayボタンイベントの検知についてはここを読んでもらえれば一目瞭然だと思いますので割愛

2のAwake暴発ですがこれは
- OnValidateがシーンが実行状態〜Awakeが発火するまでの間に唯一発火する特殊なイベントであること
- OnValidateイベントはEditor上でしか発火しないこと
の２つの特性を使って、OnValidate時にGameObjectを非アクティブにすることでAwake暴発を防いでいます

使ってみて

プロジェクト初期開発時は各シーンが各プロジェクトメンバーによって並列で実装されるのでかなり便利だった印象です
またゲーム画面でありがちなインゲームのリザルトシーンは挙動を逐一確認するためにインゲームパートを終わらせなければいけないところをいろんなパターンのモックデータを用意することで素早く確認サイクルが回せた点も良かったと思います

ここ数日QRコードを利用した某決済サービスが世間を騒がせていますが、いかがお過ごしでしょうか。

URLをはじめ様々な情報を伝えるために使われるようになったQRコードですが、
どのように情報が書き込まれているか知っている人は意外と少ないのではないでしょうか。

この記事では、QRコードやその他バーコードのライブラリ「zxing」をGoへ移植した過程で知った、
QRコードに関するあれこれを紹介したいと思います。

QRコードとは

QRコードの歴史については、QRコードの発明元でもあるデンソーウェーブのサイトをぜひご覧ください。

QRコードの規格は日本工業規格（JIS X 0510）だけでなく国際規格（ISO/IEC 18004）にもなっていますし、
デンソーウェーブのサイトにもあるように自由に利用できます。
そもそも主要な特許は出願から20年を過ぎて期限が切れています。

ひとつ気をつけないといけないのは、「QRコード」の商標権は現在もデンソーウェーブが持っていますので、
似ているけれど異なる2次元コードを「QRコード」と呼ぶのはご法度です。
この間違った呼び方を本当によく見かけるのでみなさん気をつけてください。

QRコードに見られる工夫

「QR」が「Quick Response」に由来しているように、素早い読み取りのための様々な工夫がみられます。

検出のための工夫

まずは3つの隅にある四角形、「位置検出パターン」です。
QRコードリーダーはまず、「黒1:白1:黒3:白1:黒1」という比率の四角形を3つ検出します。
見た目にもわかりやすいですし、素早く検出できます。

3つのパターンの位置関係から歪み補正をすることができるため、カメラが正面から少し傾いていても正確に読み取ることができます。
さらにドット数の多いQRコードでは、規定の位置に小さい四角の「位置合わせパターン」が置かれるので、
より正確な補正もできます。多少歪んだ画像でも問題なく読み取れるので、何度も撮りなおす必要がなくなります。

読み取りミスを減らすための工夫

読み取りミスを減らすことで、撮り直し回数を減らすことができます。

一般的に同じ色が長く連続していると、何個分なのかわかりにくくなり読み取りエラーが増えます。
また、黒1:白1:黒3:白1:黒1の位置検出パターンと同じ比率のパターンが現れてしまうと、位置検出を邪魔してしまいます。
QRコードではこのようなパターンを避けるために、規定の8種類のマスクから適したものを選んでXORすることになっています。
たまに最適でないマスクを選んでしまっているQRコードを見かけることもありますが、普通は問題なく読み取れます。

さらに、格納されるデータはエラー訂正符号（リード・ソロモン符号）が付加されています。
この符号は、一部分が削れたといったバーストエラーに強いという性質があり、他の2次元バーコードでもよく使われています。
QRコードでは、最大で30%程度欠損してもエラー訂正できるようになっています。

こういった工夫によって高速で確実な読み取りができるようになっています。

余談ですが、よく見かけるQRコードの中にロゴや文字が入ったものも問題なく読み取れるのは、このエラー訂正符号のおかげです。
逆に言えばその分エラー訂正能力を下げてしまうことになるので、あまりおすすめできない使い方です。

QRコードに入れられるデータ

QRコードには格納するデータの種類ごとに「モード」があり、モードを切り替えながらデータを格納するようになっています。
基本的にはテキストデータですが、どんなバイト列でも入れられる「8ビットバイトモード」があるため、原理的には何でも入れられます。

ここでは代表的なモードについて紹介したいと思います。

数字モード

1-9の数字文字列を格納するモードです。
3文字を10ビットで表現するので大変効率が良いです。
数字以外を入れるには他モードに切り替える必要があります。

英数字モード

数字（0-9）、英大文字（A-Z）、スペース、記号8種（$%*+-./:）の45種類の文字を格納するモードです。
2文字ずつを11ビットで表現するので、なかなか効率が良いです。
残念ながらURLを表すには文字が足りません。

8ビットバイトモード

バイナリデータをそのまま格納するモードです。
JISやISOで規定されるデフォルトの文字コードはJIS8なのですが、守っていない実装を時々見かけます。
「拡張チャネル解釈モード」によって文字コードを指定することができるので、非ASCIIな文字を入れる場合は必ず指定すべきです。

URLを格納するには、この格納効率が最も悪いモードを使うしかありません。
もったいないですね。

漢字モード

QRコードが日本生まれということもあってか、Shift_JISの2バイト文字を格納する専用モードがあり、ISOにも含まれています。
13ビットで1文字を表現することができます。ちょっとだけ格納効率が良いです。

汉字モード

これはJISやISOには含まれていませんが、中国の国家規格（GB/T 18284）で規定されているモードです。
簡体字の文字コード（GB-2312）の2バイト文字を、漢字モードと同様に1文字13ビットで表現します。

この他にもハングル文字を格納するモードがあるらしいのですが、規格文書を見たことがないので詳細はわかりません。
情報をお持ちの方はご連絡ください。

おわりに

いかがでしたでしょうか。
QRコードの知られざる一面が垣間見れたのではないでしょうか。

こんなの知ってたよ、常識だよという方はぜひ、ZXingの移植作業を手伝ってください。
よろしくお願いします。

（画像出典：JIS X 0510）

この記事は、KLab Engineer Advent Calendar 2018 10日目の記事です。

はじめに

今月頭の12/1から12/2にかけて、日本で唯一のデモパーティであるTokyo Demo Fest 2018が開催されました。

デモパーティをご存じではない方のために、公式サイトから引用します。

デモパーティは、コンピュータを用いたプログラミングとアートに 興味のある人々が日本中、世界中から一堂に会し、 デモ作品のコンペティション(コンポ)やセミナーなどを行います。 また、イベント開催中は集まった様々な人たちとの交流が深められます。

またデモについて詳しく知りたい方はこちらをご覧ください。

今回私は、このパーティのGLSL Graphics CompoというGLSLコードのみで映像を作って競うコンポにTraveler 2という作品を応募して1位に選んで頂きました！

#TokyoDemoFest 2018 GLSL Compo 1位の作品をShadertoyに投稿しました！
本日はありがとうございました！！https://t.co/5SFfmtkw86 pic.twitter.com/Xu8QZk0Rpw

— かねた (@kanetaaaaa) 2018年12月2日

実際にブラウザ上で動作するデモや動画はこちらからご覧ください

• GitHub
• オンラインデモ
• 動画

この記事では、2018年6月から12月までの6か月間、GLSLのみでグラフィックを描画するテクニックを学びながらTraveler 2を完成させるまでに参考にさせて頂いた資料や作品を、出来る限り私が読み進めた順番にご紹介します！

対象の読者層は、一言で表現すると6ヶ月前の自分です。

• 3Dグラフィックスの知識が多少ある。
• シェーダーを書いたことはあるが、レイマーチングなどの所謂シェーダー芸は書いたことがない。
• ShadertoyやGLSLSandboxの作品はよく見ているけど、謎技術すぎて理解できないし、自分では一生かけても作れないと思っている。

上記のいずれかに当てはまり、デモシーンやGLSL作品に興味がある方は（当てはまらない方も..！）、偉大な先人達が残してくれた作品や資料達を熟読してGLSL作品を一緒に作りましょう！

そもそも、GLSLってシェーダーってなんぞや！という方は、こちらから読むとよいかと思います。
GLSL で暖を取るための準備をしよう！ GLSL お役立ちマニュアル

さらに踏み込んだ内容が知りたい！という方は、こちらでテクニックの解説をしているのでご覧ください！
Tokyo Demo Fest 2018 GLSL Graphics Compoで優勝した！作品の解説等

偉大な先人達の記事や資料（見た順）

※見出しをリンクにしています

The Art of Code

BigWIngs先生のyoutubeチャンネルです。

レイマーチングを学習して3Dを描画する前に2Dから学ぼうと考えて、Shadertoy Tutorialsの動画をいくつかやりました。

特に、ShaderToy LiveCoding - The Drive Homeがオススメです。

シェーダだけで世界を創る！three.jsによるレイマーチング

gam0022先生のすごくわかりやすいレイマーチングの資料です。

この資料でレイマーチングの仕組みを完全に理解しました。

wgld.orgのGLSLコンテンツ

wgld.orgはdoxas先生のWebGLのあらゆるテクニックについて書かれたサイトです。

gam0022先生の資料でレイマーチングの仕組みを把握して、wgld.orgのレイマーチングチュートリアルで実践的な知識を学びました。

3Dの知識を既に持っていて、レイマーチングについて学びたい場合は、シェーダ内でレイを定義するから読み進めると良いと思います。（私もそうしました）

GLSLについてのメモ

edo_m18先生がGLSLのよく使われるビルトイン関数について、1ページでまとめているQiita記事です。

GLSLを書いた経験があまり無かったので、しょっちゅう参照していました。

特にstep関数の引数の順番をよく忘れてしまうので、その度に見ていました。

Distance Functions

iq先生によるプリミティブな距離関数や、テクニックの一覧です。

GLSLデモを作ってる人でも、距離関数についてはこのページに依存している人が多いのではないでしょうか？

今回作ったTraveler 2もボックス、球、トーラスの距離関数とsmoothminと呼ばれるテクニックをこのページからお借りしました。

距離関数のfold（折りたたみ）による形状設計

gam0022先生の折り畳みによる形状設計について書かれた記事です。

日本語でここまで丁寧に折り畳みについて解説してくれている記事はあまりないのではないでしょうか？

Traveler 2では後半のシーンの背景に、この記事に登場する回転foldというテクニックを使用しています。

Distance Estimated 3D Fractals (III): Folding Space

gam0022先生に教えてもらった全5パートある記事のうち、3つ目の記事です。

KIFS(Kaleidoscopic Iterated Function System)と呼ばれる、ループ内で折り畳みを繰り返すことにより、複雑なフラクタル形状を高速に描画する手法について書かれています。

一つ上で紹介した、距離関数のfold（折りたたみ）による形状設計と同時に読み進めました。

正規化Lambert

学生時代からサイトにお世話になっているPocol先生の正規化Lambertについて書かれた記事です。

Traveler 2はイカした感じのリアルな質感にしたかったので正規化された実装をお借りしました。

Blinn-Phong スペキュラの正規化について

hanecci先生の正規化Blinn-Phongについて書かれた記事です。

Lambertと同じく、リアルな質感にしたかったので正規化された実装をお借りしました。

楽しい！Unityシェーダー お絵描き入門！

3Dの記事が続きましたが、こちらの資料ではsetchi先生の2Dテクニックが沢山解説されています。

特にグリッド毎に動きを変えるテクニックは目から鱗でした。

Traveler 2では画面を覆うダートマスクと疑似パーティクルで、そのテクニックを使用しています。

2Dの小技　動くお絵かき

gaziya先生の2Dテクニックについて書かれたQiita記事です。

2D描画の際にsmoothstepを使用することでアンチエイリアスな形状を描画する手法や、clampとmixによるシーケンス制御を参考にしました。

条件分岐のためにstep関数を使う時の考え方をまとめてみた

Yuichiroh Arai先生のifをstepに置き換えるテクニックについて書かれたQiita記事です。

Traveler 2はシェーダーが巨大になりすぎて、制作の後半ではコンパイル時間が原因でChromeがクラッシュするということが多発していました...

そこでこちらの記事のテクニックを使ってifを使わないようにするとコンパイル時間を稼ぐことができました。

その時のPRです。これを適用すると、コンパイル時間が20秒から12秒になりました!
https://github.com/kaneta1992/traveler/pull/15

レイマーチングで半歩差のつく小技集

今年の9月にGLSL Tech Night 2018という勉強会でkeim先生が登壇されたときの資料です。

Traveler 2では疑似パーティクル等のグロー表現にこちらの資料のテクニックをアイデアを頂きました。

また、資料にあるコード・リーディングはとても参考にさせて頂きました。必見です。

Perlin Noise (fBm) を使ったカメラ揺れエフェクト

Keijiro Takahashi先生のfbmをカメラの揺れに使用するテクニックについて書かれた資料です。

Traveler 2ではこのテクニックを参考に、fbmでカメラの手ブレ再現をしています。

手ブレを付けることで、無機質な映像が一気にリアルな映像になって感動したので、かなりおススメです。

偉大な先人達の作品（見た順）

※見出しをリンクにしています

The Drive Home

偉大な先人達の記事や資料の一番最初にも紹介した、The Art of Codeの中の人BigWIngs先生の作品です。

youtubeチャンネルにはこの作品をライブコーディングするチュートリアルもあるのでおススメです。

Traveler 2では、画面を覆うダートマスクの埃をこちらの作品を参考に作りました。

Monster

iq先生の作品です。

偉大な先人達の記事や資料でも紹介した、Distance Estimated 3D Fractals (III): Folding Spaceで登場するKIFSというテクニックを使って蠢く3Dオブジェクトを描画しています。

資料を見ながらこの作品を弄ったりして、KIFSがどういったものか理解することができました。

KIFS Menger

dom767先生のKIFSでメンガーのスポンジを描画する作品です。

Traveler 2ではこちらで登場する距離関数を改造して、背景に使用しています。

2nd stage BOSS by 0x4015

よっしん先生がTokyo Demo Fest 2016に4k intro作品として1位を獲得した作品です。

凄すぎる映像と音楽を見た後、改めてコード量を見ると、この中に本当にあの映像が収まっているのかと驚愕します...

Traveler 2では2DのIFSで模様を描くテクニックと、ピクセル毎に時間をオフセットしてモーションブラーを実現するテクニックを参考にしました。

[Type]

FMS-Cat先生がTokyo Demo Fest 2016にWebGL作品として2位を獲得した作品です。

エッジ検出や、文字列をレイマーチングするテクニックを参考にするためにコードを読みました。（コンパイル時間の問題で実装はできなかった...）

Traveler 2では、後半のかっこよすぎるグリッチをYoutube動画でコマ送りして参考にさせて頂きました。

RaymarchingOnUnity5

i-saint先生のUnityでレイマーチする作品です。

こちらの記事で紹介されていた、gif画像で模様が画面奥に伝っていくのがかっこよかったので参考にさせて頂きました。

http://i-saint.hatenablog.com/entry/2015/06/30/233000

Raymarching - Primitives

こちらもiq先生の作品です。

3Dの様々なオブジェクトがレイマーチで描画されています。

マテリアルの扱いについて右往左往していたのですが、こちらに登場する、距離関数の戻り値でマテリアルIDをやり取りして、最後にID毎のシェーディングをするという形に落ち着きました。

Optical Stream

私がTraveler 2をエントリーしたTokyo Demo Fest 2018のトップページにも採用されている、notargs先生の作品です。

噂によるとこれをライブコーディングで作ったというので驚きです...

Traveler 2では疑似パーティクル、マーチングループを複数に分ける、HSVを使うと3つのテクニック参考にしました。

Glitch transform

tdhooper先生のグリッチしながらオブジェクトを変形させている作品です。

これがかっこよすぎたのでアイデアを参考にさせて頂きました。

挙動を確認できるイージング関数一覧 - GLSLSandbox

GLSLSandboxなので作者が不明なのですが、イージング関数が沢山あります。

挙動もすぐに確認できるので、カメラワークに使用する好みのイージングをこちらからお借りしました。

さいごに

これからシェーダーで遊ぶ人に向けて、6ヵ月でシェーダー一般人がシェーダー芸人なった足跡を記事として残してみました。

シェーダー芸はとても楽しいので、この記事を紹介して友人にも布教していきたいと思っています！

この記事を最後まで見てくださって方々も、是非シェーダー芸でGLSL作品を作りましょう！そしてTokyo Demo Festに作品を持ち込みましょう！！

この記事はKLab Engineer Advent Calendar 2018の11日目の記事になります。

概要

VR/MR/ARに関する開発者会議です。

これまでGDCと呼ばれるゲーム系の開発者会議の一部(VRDC)として行われてましたが独立して開催されることになりました。

【公式サイト】
【Youtubeチャンネル】*執筆時2017までの一部動画が掲載されてました
場所は、アメリカサンフランシスコの
Westin St. Francis Hotel in Union Squareで開かれました。

社内でVRに興味ある人います？と声がかかり、手を上げた所、そのまま行く流れになりました。自分は、英語は中学レベルなのですがそれでも行けるチャンスがもらえてとても嬉しかったです。ちなみにGDCの方は一度も参加経験はないです。

開催期間は2日間で10/30-10/31に開かれました。
開催前日に入国して開催翌日に帰国しましたが時差の都合で5日かかりました。
自分が聴講したのはゲーム関係のVR系のものになります。

会場では、ゲームに限らず医療/教育/スポーツなど様々な業界の物がありました。

1日目

Designing Content for VR Arcades: Lessons Learned

VRアーケードをやる上でのお話をしていました。
どういったユーザーをターゲットにしているのかなど実際にアーケードで出したサービスを上げながらデータを挙げて話す内容でした。

'BRASS TACTICS': REINVENTING THE RTS FOR VR

製品情報(OculusRiftのみ)

VRで遊べるRTSゲームで遊びやすくするためのUI設計や操作性について解説していました。
まとめると以下の話をしていました。

• 初期のプロトでは球体を回したりフィールドの動かしやすさを模索していた
• 2つ目のプロトでターンテーブルを回す形に着地して調整を進める
• しかしユーザーテストで中心に手をのばすのが大変などの課題が見つかる
• 3つ目で調整を重ねてフィールドを動き回れる操作に修正
• 最終的にユニットの選択やアップグレード部分なども同じ流れでアイデアを調整して完成

'Sprint Vector': Evolving VR for the Esports Scene

製品情報
RawDataを作っていた会社の新作で両腕を振ると走る動作ができ特殊能力を持ったキャラクターで走ってきそうゲームになります。
酔わないようにするために行った工夫やコースデザインについて解説していました。
まとめると以下のような話をしていました。

• RawDataを製作中に移動の問題をどうにかできないかの課題があり、ユーザーテストを重ねて腕を腰で振る今の形のモーションに持っていくことができた。
• ジャンプなどのプレイヤー操作も腕の動きを重要視して操作する形にした
• コースデザインでは基本的に各コース3つのルートが有り、難易度が高いほどコース短縮が可能で落下した場合でも遠回りにコースに戻れる設計にしている
• ショートカットユーザーはアイテムが少なく、遠回りしたユーザーはアイテムを活用してバランスを取っている

遊んだことあるのですがジャンプしなければ、腕を左右にふる動作があるだけでVR酔いは、かなり軽減されています。スケートの表面を滑るような感触に近いです。操作性としては腕を左右にバランスよく降るため、かなり疲れる物となっています。スポーツ性の高いゲームとなっていて遊んでいて楽しいので興味ある方はプレイしてみるといいかもです。

懇親会

各企業でハードウェア体験ができつつ開発者で交流が取れる感じのパーティが開かれていました。
お酒の提供もありましたが写真のようにカクテルもXRDC仕様になっておりました。
ノベルティの配布があり、タンブラーと帽子とシールを貰いました。

2日目

The Story of 'Beat Saber'

製品情報
ゲームが制作されるまでの過程や小話などを行う内容でした。
サウンドやデザインのコンセプトやリリース後の反響などを中心に話しておりました。
まとめると以下の事を話していました。

• ビートセイバーの原型は、ChameleonRunというゲームの制作後にできていた
• ゲームの外見デザインは、映画「トロン」のようなネオンのデザインをもとにしている
• リリース後の売上として通常のVRはしばらくすると売上が下がるがBeatSaberの売上は、横ばいだった
• BeatSaber専用のアーケードが作られた
• 168の店舗/20カ国以上の場所でゲームのトーナメント行われた

日本でも遊んでる人が多そうなゲームですが自分が遊んだ感想ですとVRと音楽ゲームの操作性がうまくマッチしていて楽しい物となっています。

Powering a Cognitive Assistant for the Blind Using AR

盲目の方のサポートとしてMRデバイス(HoloLens)を使ったという学生による講演です。
空間認識を行い、音声で案内ガイダンスを出すという形でした。
実際に被験者の方に協力してもらい動画で成果を発表する感じになっておりました。

Lighting a Legend: Art Pipelines in 'Hold The World' with Sir David Attenborough

製品情報(OculusRiftのみ)
ロンドン自然博物館が体験できるVRツアーの制作事例になります。
イギリスの動物学者デイビッド・アッテンボローさんとVRで博物館のツアーをするといったものになります。
マイクロソフトと共同で行い、動物学者の方のモーションキャプチャー・博物館の展示品を3Dスキャンするなど物量と規模が感じられる内容でした。

Design Beyond the Screen: Mixed Reality at Osmo

Osmoと呼ばれる子供向けの教育コンテツについてのお話です。
iPadなどのタブレットデバイスと連携させて行えるデバイスになっており、遊ぶコンテンツに合わせて使う道具が変わる形になるようです。
UIで工夫した点や子供が混乱しないようにするには、どうするべきなのかの事例などを紹介していました。

総評

技術的な解説というよりは、それぞれのサービスでユーザーに向けてどういった取り込みをしているのかといった内容が多くみられました。
Oculus専用でリリースしているタイトルが2つありましたが逆にHTCViveの方で専用のリリースしているタイトルで講演等がなかったのは、不思議に感じました。
日本だと広まっていない方面での話やVRの制作過程などを聞くことができ参加できてとても良かったです。

会場の様子としては、朝に行くと廊下に朝食がずらっと並んでいたのが印象的でした。
只、ホテルでも食事サービスがあり、お腹いっぱい状態だったので食べられませんでしたが
食事をしながら見ても良いという形になっていたのは面白いなと思いました。

また、会場はホテルで行いましたが、ちょうどホテルのストライキがあり、すべての入り口がプラカードを持つ人々で巡回していたのは驚きました。
ちゃんと許可を得てやっているので危険なものでもないのですが日本と異なる文化に触れられた気がします。

GDC VaultにXRDCのセッション動画は上がっており、会員になっていれば一部セッション見れるようなので会員の方は確認してみると良いと思います。

この記事は KLab Advent Calendar 2018 13日目の記事です。

はじめに

みなさんは既にリリースされた処理に手を入れた際に、影響範囲の洗い出しをどのように行っていますか？
ソースコード内で参照されているのであれば、IDEの参照検索機能で確認できますが
Prefabなどにアタッチされているコンポーネントを検索するのは少し手間です。

1. 検索したいコンポーネントの.metaの中に定義してあるguidをコピー
2. grep -inr [検索したいコンポーネントのguid]

でコンポーネントを参照している箇所の列挙だけはできるのですが、
実際の利用状況（非アクティブ化されているかなど）まではわかりません。

そこで今回は、プロジェクト内から利用箇所を取得したうえでコンポーネントの値設定状況で絞り込めるEditor拡張を作ってみました。

その過程で学びがあった事に関していくつか書き残しておこうかと思います。

作ったもの

• 検索設定の編集
• 検索結果の一覧表示
• 選択オブジェクトの詳細表示

で構成されています。

入力された文字列からTypeを取得する

public static Type GetTypeFromAssembly(string TypeName)
{
    var type = Type.GetType(TypeName);

    if (type != null)
    {
        return type;
    }

    if (TypeName.Contains("."))
    {
        var assemblyName = TypeName.Substring(0, TypeName.IndexOf('.'));

        try
        {
            var assembly = Assembly.Load(assemblyName);
            if (assembly == null)
            {
                return null;
            }

            type = assembly.GetType(TypeName);
            if (type != null)
            {
                return type;
            }
        }
        catch (System.IO.FileNotFoundException)
        {
        }
    }

    var currentAssembly = Assembly.GetExecutingAssembly();
    var referencedAssemblies = currentAssembly.GetReferencedAssemblies();
    foreach (var assemblyName in referencedAssemblies)
    {
        var assembly = Assembly.Load(assemblyName);
        if (assembly != null)
        {
            type = assembly.GetType(TypeName);
            if (type != null)
            {
                return type;
            }
        }
    }

    return null;
}

• Type.GetType(TypeName)
  • 自作クラスが取得できます
• assembly.GetType(TypeName)
  • UnityEngine.UI.TextやUnityEditor.EditorWindow など他のアセンブリに定義されているクラスが取得できます。

変数値判定用の検索フィルターを表示する

void InitFilterFieldInfo()
{
    if (Settings.Instance.Type == null)
    {
        return;
    }

    var type = Settings.Instance.Type;
    var flags = BindingFlags.Instance | BindingFlags.Static | BindingFlags.Public | BindingFlags.NonPublic;

    var propertys = type.GetProperties()
        .Where(p => p.CanWrite)
        .Select(p => new FilterFieldInfo(p.Name, p.PropertyType, null));

    var fields = type.GetFields(flags)
        .Where(f => f != null)
        .Where(f =>
        {
            var isValid = f.IsPublic;
            isValid |= f.GetCustomAttributes(typeof(SerializeField),true).Length > 0;
            return isValid;
        })
        .Select(f => new FilterFieldInfo(f.Name, f.FieldType, null));

    Settings.Instance.FilterParameters = propertys
        .Union(fields)
        .Where(x => !Settings.Instance.ignoreFilterField.Contains(x.FieldName))
        .ToArray();
}

検索対象に指定されているTypeのPropertyとpublicなFieldを取得し、
フィルター制御用のクラスに変換し保持します。

var flags = BindingFlags.Instance | BindingFlags.Static | BindingFlags.Public | BindingFlags.NonPublic;

var isValid = f.IsPublic;
isValid |= f.GetCustomAttributes(typeof(SerializeField),true).Length > 0;

BindingFlags.NonPublicを指定することで、引数なしGetFields()＋privateなフィールドを取得できます。

そのうえで、SerializeField属性を持っているかの判定を行っています。

public class FilterFieldInfo
{
    public string FieldName { get; private set; }

    public Type Type { get; private set; }

    public object Value { get; private set; }

    public bool IsActive { get; private set; }

    public void OnGUI()
    {
        EditorGUILayout.BeginHorizontal();
        IsActive = EditorGUILayout.Toggle(IsActive, GUILayout.Width(30));
        if (Type == typeof(int))
        {
            int val = Value == null ? 0 : (int)Value;
            Update(EditorGUILayout.IntField(FieldName, val));
        }   
        /// ~~~　中略　~~~  ///
        else if (Type.IsEnum)
        {
            object val = Value == null ? System.Enum.GetValues(Type).GetValue(0) : Value;
            Update(EditorGUILayout.EnumPopup(FieldName, (System.Enum)val));
        }
        else if (Type.IsClass)
        {
            Object val = Value == null ? null : (Object)Value;
            Update(EditorGUILayout.ObjectField(FieldName, val, Type, true));
        }
        else
        {
            Debug.LogWarning(string.Format("Type : {0}: {1}", Type, FieldName));
        }
        EditorGUILayout.Space();
        EditorGUILayout.EndHorizontal();
    }
}

項目表示に必要な情報と、検索条件にするかどうかのフラグを持たせています。
OnGUI内で型に応じた表示処理定義し、EditorWindowクラスから呼び出しています。

コンポーネントがアタッチされている全てのオブジェクトを検索する

void CacheObjects()
{
    if (HasCache)
    {
        return;
    }

    var paths = GetAssetPaths();

    var assetPaths = paths
        .Where(p => Settings.Instance.Extensions.Contains(System.IO.Path.GetExtension(p)))
        .ToArray();
    var scenePaths = paths
        .Where(x => x.EndsWith(".unity"))
        .ToArray();

    for (int i = 0; i < scenePaths.Length; i++)
    {
        EditorSceneManager.OpenScene(scenePaths[i], OpenSceneMode.Additive);

        string str = string.Format("{0} : {1}/{2}", scenePaths[i], i + 1, scenePaths.Length);
        EditorUtility.DisplayProgressBar("Sceneの展開中", str, scenePaths.Length / Mathf.Max(1, i));
    }

    EditorUtility.ClearProgressBar();

    cacheArray = assetPaths.SelectMany(path => AssetDatabase.LoadAllAssetsAtPath(path))
        .Concat(UnityEngine.Resources.FindObjectsOfTypeAll<GameObject>())
        .ToArray();

    HasCache = true;
}

Prefabはpathを元にAssetDatabase.LoadAllAssetsAtPath(path)を行うことで取得できます。
しかし、Scene内のオブジェクトの情報を取得するためにはそのSceneを開かなければならず
1. .unityファイルのアセットパスの取得
2. EditorSceneManager.OpenScene(path, OpenSceneMode.Additive)でSceneを開く
3. UnityEngine.Resources.FindObjectsOfTypeAll<GameObject>()でオブジェクトを取得
といった手順をとる必要があります。

※OpenSceneMode.Additiveで開かなければ参照を保持できません

取得したインスタンスをGUI表示用クラスに変換する

public struct BehaviorFields
{
    public string Name;
    public string Tag;
    public bool Enabled;

    public BehaviorFields(Behaviour behaviour)
    {
        Name = behaviour.name;
        Tag = behaviour.tag;
        Enabled = behaviour.enabled;
    }

    public BehaviorFields(Component component)
    {
        Name = component.name;
        Tag = component.tag;
        Enabled = true;
    }
}

public ComponentData(UnityEngine.Object obj)
{
    this.Obj = obj;

    var b = obj as Behaviour;
    Behaviour = new BehaviorFields(b ?? (obj as Component));

    AssetPath = AssetDatabase.GetAssetOrScenePath(obj);
    this.IsSceneObject = AssetPath.EndsWith(".unity");

    // e.g. Text =>  Canvas\Button\Text
    TransformPath = GetTransformPath();
    AffiliationName = AssetPath.Split(new char[] { '/' }).LastOrDefault() ?? "";

    var color = ColorUtility.ToHtmlStringRGB(Settings.Instance.ResultTextColor);
    label = string.Format("[Name] <color=#{0}>{1}</color> | [AssetPath] <color=#{0}>{2}</color>", color, ObjectName, AssetPath);

    Settings.OnUpdateSetting += name => { guiCacheExpired = true; };
}

こちらのクラスは検索結果の数だけ生成されるため、大規模なプロジェクトの場合検索実行時・表示時に負荷をかける原因になっていました。
負荷を軽減するために行った対応は以下の通りです。
1. 文字列の結合処理を更新処理内では行わないようにする
2. Colorをnewしないようにする（予め定義しておく）
3. 表示判定を行うのは表示条件が変わった時だけにする（判定結果のキャッシュ）

これらを行うことで処理速度が15分から10秒ほどまで改善されました。

フィルターで指定された値を持っているかを判定する(表示判定)

bool CheckConditionsSatisfied()
{
    // ーーーー略ーーーー

    foreach (FilterFieldInfo filter in Settings.Instance.FilterParameters)
    {
        SerializedObject so = new SerializedObject(Obj);
        var property = so.FindProperty(filter.FieldName);
        if (property != null)
        {
            if (property.type == "int")
            {
                return (int)filter.Value == property.intValue;
            }
            // ーーーー略ーーーー
            else if (property.type == "Enum")
            {
                return (int)filter.Value == property.enumValueIndex;
            }
            else
            {
                if (filter.Value == null && property.objectReferenceValue == null)
                {
                    return true;
                }
                else if (filter.Value == null || property.objectReferenceValue == null)
                {
                    continue;
                }

                var obj = Convert.ChangeType(filter.Value, filter.Type);
                var obj2 = Convert.ChangeType(property.objectReferenceValue, filter.Type);
                return obj.GetHashCode() == obj2.GetHashCode();
            }
        }
    }

    return false;
}

SerializedPropertyのValueが型毎に違う変数に入っているので辛い感じになっています。
一致判定を==でやってしまっていますが、範囲判定に変えた方が良かったかもしれません。
参照型の判定は、Convert.ChangeType(value, type) で変換した後にHashの比較で行っています。

おわりに

普段Editor拡張でコンポーネントの情報を取得するときは
SerializedObjectやSerializedPropertyを使用してよろしくやることが多いので、
型情報からGUI表示するのは手間がかかりました。

今回の実装で初めて触るAPIも多くあったので、もっと色々触って精進してきたいと思います。

参考

Unity のエディタ拡張で FoldOut をかっこよくするのをやってみた
UnityBulkConverter
Type.GetType(string) does not work in Unity
リフレクションのBindingFlagsは一旦これだけ覚えておこう

この記事は KLab Advent Calendar 2018 14日目の記事です。

こんにちはhamasan05です。
先日CEDEC+KYUSHU2018に
大規模モバイルオンラインゲームを支えるソフトウェアアーキテクチャ開発とその使用例
というタイトルで登壇してきました。
(資料はただ今公開準備中なので公開次第URL差し替えます)

セッションを準備するにあたってたくさん準備をしたのですが
泣く泣くカットしたことがたくさんありました。
今回はその中で有用なプログラムネタがあったので紹介します。
「自動テストの拡大」に関する部分です。

セッションの概要

新しいアーキテクチャの採用によりサーバクライアント間のテストを自動化することに成功したのがセッションでのお話

実際にどうやっているのか

今回紹介する内容ではクライアント側はUnity(言語はC#)、サーバ側はPythonを利用しています。
ドライバはPytestを利用していて通信の置き換えはPython for .NETを利用しています。
Python for .NETの使い方についてはすでに記事があるため割愛します。

今回は実際にテストに利用する際に気をつけるべき点として
3つのポイントを紹介させていただきます。

1. クライアントロジックはピュアなC#で記述する
2. サーバロジックの時間のかかる処理はまとめてパッチを当てておく
3. クライアントロジックとサーバロジックを通したテストは一番最後にやる

クライアントロジックはピュアなC#で記述する

ロジック部分はピュアなC#で記述してmonoでコンパイル可能かつ動作できるようにしておきます。
これはテストがどんな環境でも動くようにするためです。
UnityEngineに依存した部分やOSに依存した部分があると動作する環境が限られてしまいます。
(作業者のPCなどでは動くが、サーバではUnityやAndroid SDK、Xcodeなどインストールしないと動かない等)
環境を選ばずにテストできることによって、テスト用に高速なマシンを選択したり、並列処理をしたりと柔軟性が拡大します。

上記の観点からクライアントロジックの一部はテスト用に差し替えられるように設計上隔離しておくと良いです。
UnityEnginge等に依存する処理は隔離した上でテストに影響を与えない処理に差し替えたダミーを準備しておきます。

また、通信を行う処理についても物理的に隔離しておく必要があります。
こちらは単純なダミーではなくPython側の処理をコールする処理で上書きをしておきます。
これらのダミーのクラス群とプロダクトに含まれるべきロジック部分をコンパイルしてDLLを作成してテストを行います。

サーバロジックの時間のかかる処理はまとめてパッチを当てておく

テストで大幅に時間がかかる箇所については、Pytestの共通の初期処理で予めパッチを当てておきます。
大幅に時間が掛かるものの代表例としてはネットワーク関連になります。
DBや他のサービスへのアクセスが有る場合はサーバ側でも共通で固定値を返すようなダミーを作って
パッチを当てておくと良いです。

クライアントロジックとサーバロジックを通したテストは一番最後にやる

当たり前の話ではあるのですがC#とPythonのテストをそれぞれきっちりやってから最後に通しのテストをしたほうが良いです。

このテストは一定成約があり問題があったときに原因特定がやや難しいです。
デバッガが使えなかったりスタックトレースが情報不足だったりします。
(問題があった場合はデバッグライトを使って駆使して特定しているのが現状です)
できるだけ品質を上げた状態でテストすることが望ましいです。

最後に

CEDEC+KYUSHU2018での私達のセッションに参加していただいた皆様、この記事を読んでくれた皆様に心より感謝します。

KLab Engineer Advent Calendar 2018 の15日目の記事です

環境

Unity5.5以降
.NET 3.5 Equivalent

上記の環境ならプロジェクト設定は通常C#4.0のはずですが、ごく一部の新しい記法が使えます。

実は使えるC#6.0の記法

・getter のみの自動プロパティ、構造体の自動プロパティ初期化

public class Hoge 
{
    // getter のみの自動プロパティ
    public int Hogehoge{ get; }

    public Hoge(int hoge){
        Hogehoge = hoge;
    }
}

public struct Fuga 
{
    public int Fugafuga{ get; private set; }

    public Fuga(int fuga){
        // 構造体の自動プロパティ初期化
        Fugafuga = fuga;
    }
}

これはC#6.0からの記法でreadonlyなプロパティが定義できます。
ただ、C#6.0のプロパティ初期化子は使えないためかならずコンストラクタで初期化する必要があります。

public class Hoge
{
    // これはエラーになる
    public int Hogehoge{ get; } = 10;
}

・列挙型の基底型

enum Hogehoge : System.Int32
{
    Hoge, Fuga,
}

この記法自分はほとんど書いたことがなかったんですが、参考資料によると、

C# 5.0までは、この基底型の指定は「sbyte、 byte、 short、 ushort、 int、 uint、 long、 ulong、 char のいずれか」 という仕様になっていました。 つまり、同じintを指しているはずの、System.Int32という書き方は受け付けられませんでした。
これが、C# 6では受け付けられるようになりました。

らしいです。

・変数の「意味不変」ルール

class Hoge
{
    double hoge;

    void Fuga(bool b)
    {
        hoge = 1.0;
        if (b)
        {
            int hoge; // C# 5.0まではエラーに
            hoge = 1;
        }
    }
}

こちらの仕様変更も参考資料によると、

上記コードのように、ifの外ではフィールドhogeを使っていて、ifの中では同名の変数hogeを定義して使うということすらエラーにしていました。
ところが、C# 6では、この前半のような判定は、大変な割にメリットが少ないということで、判定しない(エラーにならない)よう変更されました。

とのことです。

・オーバーロード解決の改善

int Hoge(Func<Func<int>> f) { return f()(); }
int Hoge(Func<Func<int?>> f) { return f()() ?? 0; }
float Hoge(Func<Func<float>> f) { return f()(); }

void Main(){
    // C#5.0まではこのように型を明示する必要があったが
    Hoge((Func<Func<int>>)(() => ()=> 10));
    // C#6.0では正常にオーバーロードされる
    Hoge(() => ()=> 10);
    Hoge(() => ()=> null);
    Hoge(() => ()=> 1.5f);
}

C# 5.0まではFunc<Func<int>>というような、入れ子になったジェネリックはオーバーロードが正常に行われなかったんですが、それがC#6.0で改善されました。

・拡張メソッドでコレクション初期化子

class Point
{
    public int X { get; set; }
    public int Y { get; set; }
}

static class PointExtensions
{
    public static void Add(this List<Point> list, int x, int y)
    {
        list.Add(new Point { X = x, Y = y });
    }
}

class Hoge
{
    void Main()
    {
        var points = new List<Point>
        {
            // PointExtensions.Add が呼ばれる
            { 1, 2 },
            { 4, 6 },
            { 0, 3 },
        };
    }
}

コレクション初期化子自体はC#3.0からの機能ですがAdd関数が通常のメソッドでないと動作しませんでした。
これがC#6.0から拡張メソッドの実装でも動作するようになりました。

・「確実な初期化」の判定改善

int x;
if (false && x == 3) // C# 5.0まではエラーに
{
    x = x + 1; // ここはC# 5.0まででもOK
}

参考資料によると

C#は、未初期化領域の問題を避けるため、「変数は確実に初期化してからでないと値を読み出せない」という仕様になっています。この「確実な初期化」(definite assignment)がされたかどうかの判定は、ある程度コードの流れを追って判定してくれます。例えばifやswitchで分岐がある場合でも、すべての分岐先で初期化してあれば「確実な初期化」済みと見なされます。
また、絶対に通らない場所は判定外です。 例えば、if (false) { }の中(絶対にこの中は通らない)では、未初期化変数を読みだしていてもエラーにはなりません(どうせ通らないので問題ない)。
上記のコードは&&の性質(左側が偽だったら右側は評価しない)上、「絶対に通らない場所なので判定外」としてもいいはずですが、C# 5.0まではエラーになっていました。C# 6ではエラーになりません。

とのことです。

まとめ

C#6.0には他にもいろいろ更新がありますが、
ここまで紹介した記法のみUnity5.5以降の.NET 3.5 Equivalentでも動作します！
ただ、IDEにはエラー構文として検知されてしまう場合もあるので自己責任でご使用ください。

おまけ

当時Unity5.5でコンパイラが更新されたときに大きく取り上げられたのは
Listをforeachしたときに発生していたGCが改善されたとか、
C#5.0 foreach仕様変更 （参考資料）とかがありましたが、
C#6.0が一部使えたことを自分は最近まで知りませんでした。

Unity2018.3にはもうC#7.2が使えるようですが、色んな事情によりUnityのバージョンアップができなかったり、.NET 4.x Equivalentに更新できなかったりしてもC#6.0が（一部だけ）実は使えたので、できたら活用していきたいです。

参考

・C#5.0の新機能
・C#6.0の新機能

この記事は KLab Advent Calendar 2018 16日目の記事です。

はじめに

最近、業務でミーティングを開催する側になることが増えたのですが、日中は会議室が空いていないことが多く、特に参加メンバーが多い場合に予定のすり合わせで苦労することが増えました。

KLabでは会議室や備品などもGoogle Calendarのリソースとして登録されており、ブラウザ上から予約を行うのですが、
明日までに同僚10人が参加する1時間のミーティングを組まないといけない！
といった状況で、会議室が空いている時間と同僚10人のカレンダーをにらめっこするのはかなり骨が折れます。

そこで、予定のすり合わせをもっと簡単に行えないかと思い、最近社内でツール作成によく使われるGoの勉強がてら、Google Calendar APIをいじってみました。

GoでGoogle Calendar APIを叩く

Go Quickstart を見つつサンプル通りにやっていくだけで簡単に自分のカレンダーを取得できました。
（途中、Goのバージョンが古いと怒られたので1.9から1.11.2にあげました¹）

取得した予定を出力するとこのようになります。（伏せ字で見づらくてすみません）

リソース（会議室）の予定を取得する

func (r *EventsService) List(calendarId string) *EventsListCall {
    c := &EventsListCall{s: r.s, urlParams_: make(gensupport.URLParams)}
    c.calendarId = calendarId
    return c
}

google-api-go-client
リソース（会議室）の予定を取得するには、会議室のcalendarIdが必要です。
カレンダーIDはブラウザ上のGoogle Calendarから取得することができます。
まずは 同僚のカレンダーを追加 から必要なリソースを追加します。

追加したカレンダーを選択し、[設定]->[カレンダーの統合] と進むと
カレンダーIDが記載してあります。

これで会議室の予定も取得できるようになりました。

予定の表現の仕方

自分と会議室の予定が取得できたら、それらから「双方の予定が空いている時間」を探します。
今回、上手いやり方が思いつかなかったので、ビット演算でやることにしました。

会議室の予約のほとんどは30分単位で行われているので、1日を30分ごとのブロックに分割し、予定がある = 1 予定がない = 0というビットで表現しました。

つまり、右から1ビット目が「0:00〜0:30」の予定を、2ビット目が「0:30〜1:00」の予定を、21ビット目が「10:00〜10:30」の予定を表しているという状態です。
1日は24時間なので、30分毎に分割しても48ブロックであり、64bitあれば余裕で表現することができます

例えば、12月16日の
- 午前1時〜2時
- 午前10時〜10時半
- 午後15時〜16時半
- 午後20時〜24時
に予定が入っていた場合、

00 00 00 00 00 00 00 00              // 使用しない左16bit
11 11 11 11 00 00 00 01 11 00 00 00  // 左端は23:30、右端は12:00を表す
00 01 00 00 00 00 00 00 00 00 11 00  // 左端は11:30、右端は0:00を表す

つまり12月16日の予定を64ビット表記にすると
0000000000000000111111110000000111000000000100000000000000001100

と表すことができます。

自分と会議室の予定を比較

まず、Calendar APIから取得できる日付はただの文字列なので、扱いやすいようにtime.Time型にパースします

format := "2006-01-02T15:04:05-07:00"
startTime, err := time.Parse(format, item.Start.Datetime)

次に、日付とその日の予定を表すビット配列でmapを作り、
取得した予定のstartTime endTimeを元にビットを立てていきます。

m := map[string]uint64{}
for _, item := range events.Items {
    /*
      時刻のパースなど、省略
    */

    // 予定の開始時刻のビット位置を計算
    startTimeBit := uint64(startTime.Hour() * 2)
    if startTime.Minute() >= 30 {
        startTimeBit++
    }
    // 予定の終了時刻のビット位置を計算
    endTimeBit := uint64(endTime.Hour() * 2)
    if endTime.Minute() == 0 {
        endTimeBit--
    } else if endTime.Minute() > 30 {
        endTimeBit++
    }
    // 予定の時刻にビットを立てる
    date := item.Start.Date()  // 例： "2018-12-17"
    for i := startTimeBit; i <= endTimeBit; i++ {
        m[date] |= 1 << i
    }

実際に取得できた自分および会議室の予定のmapはこのようになります。²

// 自分の予定
mySchedules := map[string]uint64{
    "2018-12-17": 0000000000000000111111110011100000100110110011111111111111111111,
    "2018-12-18": 0000000000000000111111111111101111111111110011111111111111111111,
}
// 会議室の予定
mtgRoomSchedules := map[string]uint64{
    "2018-12-17": 0000000000000000000000000011111111111111000000000000000000000000,
    "2018-12-18": 0000000000000000000000110101111111111011110000000000000000000000,
}

最後に、自分と会議室の予定を比較して両方が空いている時間を探します。
ビットが立っている位置が予定がある時刻なので、論理和を取って0となる位置（=どちらも予定がない時刻）を探します。

for key, _ := range mySchedules {
    // 論理和をとって自分と会議室両方が空いている時間を算出
    schedule := mySchedules[key] | mtgRoomSchedules
    // bitを時刻にデコード
    fmt.Printf("-------%v-------\n", key)
    for i := uint(0); i < 48; i++ {
        if schedule&(1<<i) != 1<<i {
            hour := i / 2
            minute := i % 2 * 30
            fmt.Printf("%v時 %v分 is OK!\n", hour, minute)
        }
    }
}