3. Defining Extension Types: Assorted Topics
********************************************

この節ではさまざまな実装可能なタイプメソッドと、それらが何をするもので
あるかについて、ざっと説明します。

Here is the definition of "PyTypeObject", with some fields only used
in debug builds omitted:

   typedef struct _typeobject {
       PyObject_VAR_HEAD
       const char *tp_name; /* For printing, in format "<module>.<name>" */
       Py_ssize_t tp_basicsize, tp_itemsize; /* For allocation */

       /* Methods to implement standard operations */

       destructor tp_dealloc;
       Py_ssize_t tp_vectorcall_offset;
       getattrfunc tp_getattr;
       setattrfunc tp_setattr;
       PyAsyncMethods *tp_as_async; /* formerly known as tp_compare (Python 2)
                                       or tp_reserved (Python 3) */
       reprfunc tp_repr;

       /* Method suites for standard classes */

       PyNumberMethods *tp_as_number;
       PySequenceMethods *tp_as_sequence;
       PyMappingMethods *tp_as_mapping;

       /* More standard operations (here for binary compatibility) */

       hashfunc tp_hash;
       ternaryfunc tp_call;
       reprfunc tp_str;
       getattrofunc tp_getattro;
       setattrofunc tp_setattro;

       /* Functions to access object as input/output buffer */
       PyBufferProcs *tp_as_buffer;

       /* Flags to define presence of optional/expanded features */
       unsigned long tp_flags;

       const char *tp_doc; /* Documentation string */

       /* Assigned meaning in release 2.0 */
       /* call function for all accessible objects */
       traverseproc tp_traverse;

       /* delete references to contained objects */
       inquiry tp_clear;

       /* Assigned meaning in release 2.1 */
       /* rich comparisons */
       richcmpfunc tp_richcompare;

       /* weak reference enabler */
       Py_ssize_t tp_weaklistoffset;

       /* Iterators */
       getiterfunc tp_iter;
       iternextfunc tp_iternext;

       /* Attribute descriptor and subclassing stuff */
       struct PyMethodDef *tp_methods;
       struct PyMemberDef *tp_members;
       struct PyGetSetDef *tp_getset;
       // Strong reference on a heap type, borrowed reference on a static type
       struct _typeobject *tp_base;
       PyObject *tp_dict;
       descrgetfunc tp_descr_get;
       descrsetfunc tp_descr_set;
       Py_ssize_t tp_dictoffset;
       initproc tp_init;
       allocfunc tp_alloc;
       newfunc tp_new;
       freefunc tp_free; /* Low-level free-memory routine */
       inquiry tp_is_gc; /* For PyObject_IS_GC */
       PyObject *tp_bases;
       PyObject *tp_mro; /* method resolution order */
       PyObject *tp_cache;
       PyObject *tp_subclasses;
       PyObject *tp_weaklist;
       destructor tp_del;

       /* Type attribute cache version tag. Added in version 2.6 */
       unsigned int tp_version_tag;

       destructor tp_finalize;
       vectorcallfunc tp_vectorcall;

       /* bitset of which type-watchers care about this type */
       unsigned char tp_watched;
   } PyTypeObject;

*たくさんの* メソッドがありますね。でもそんなに心配する必要はありませ
ん。定義したい型があるなら、実装するのはこのうちのごくわずかですむこと
がほとんどです。

すでに予想されているでしょうが、この構造体について入念に見ていき、様々
なハンドラについてより詳しい情報を提供します。 しかしこれらのメンバが
構造体中で定義されている順番は無視します。というのは、これらのメンバの
現れる順序は歴史的な遺産によるものだからです。 多くの場合いちばん簡単
なのは、必要とするメンバがすべて含まれている例をとってきて、新しく作る
型に合わせて値を変更することです。

   const char *tp_name; /* For printing */

これは型の名前です。前の章で説明したように、これは色々な場面で現れ、ほ
とんどは診断目的で使われるものです。 それなので、そのような場面で役に
立つであろう名前を選んでください!

   Py_ssize_t tp_basicsize, tp_itemsize; /* For allocation */

これらのフィールドは、この型のオブジェクトが新しく作成されるときにどれ
だけのメモリを割り当てればよいのかをランタイムに指示します。Python に
は可変長の構造体 (文字列やタプルなどを想像してください) に対する組み込
みのサポートがある程度あり、ここで "tp_itemsize" メンバが使われます。
これらについてはあとでふれます。

   const char *tp_doc;

ここには Python スクリプトリファレンス "obj.__doc__" が doc string を
返すときの文字列 (あるいはそのアドレス) を入れます。

では次に、型の基本的なメソッドに進みます。ほとんどの拡張の型がこのメソ
ッドを実装します。


3.1. ファイナライズとメモリ解放
===============================

   destructor tp_dealloc;

型のインスタンスの参照カウントがゼロになり、Python インタプリタがそれ
を潰して再利用したくなると、この関数が呼ばれます。解放すべきメモリをそ
の型が保持していたり、それ以外にも実行すべき後処理がある場合は、それら
をここに入れられます。オブジェクトそれ自体もここで解放される必要があり
ます。この関数の例は、以下のようなものです:

   static void
   newdatatype_dealloc(newdatatypeobject *obj)
   {
       free(obj->obj_UnderlyingDatatypePtr);
       Py_TYPE(obj)->tp_free((PyObject *)obj);
   }

If your type supports garbage collection, the destructor should call
"PyObject_GC_UnTrack()" before clearing any member fields:

   static void
   newdatatype_dealloc(newdatatypeobject *obj)
   {
       PyObject_GC_UnTrack(obj);
       Py_CLEAR(obj->other_obj);
       ...
       Py_TYPE(obj)->tp_free((PyObject *)obj);
   }

メモリ解放関数でひとつ重要なのは、処理待ちの例外にいっさい手をつけない
ことです。なぜなら、解放用の関数は Python インタプリタがスタックを元の
状態に戻すときに呼ばれることが多いからです。そして (通常の関数からの復
帰でなく) 例外のためにスタックが巻き戻されるときは、すでに発生している
例外からメモリ解放関数を守るものはありません。解放用の関数がおこなう動
作が追加の Python のコードを実行してしまうと、それらは例外が発生してい
ることを検知するかもしれません。これはインタプリタが誤解させるエラーを
発生させることにつながります。これを防ぐ正しい方法は、安全でない操作を
実行する前に処理待ちの例外を保存しておき、終わったらそれを元に戻すこと
です。これは "PyErr_Fetch()" および "PyErr_Restore()" 関数を使うことに
よって可能になります:

   static void
   my_dealloc(PyObject *obj)
   {
       MyObject *self = (MyObject *) obj;
       PyObject *cbresult;

       if (self->my_callback != NULL) {
           PyObject *err_type, *err_value, *err_traceback;

           /* This saves the current exception state */
           PyErr_Fetch(&err_type, &err_value, &err_traceback);

           cbresult = PyObject_CallNoArgs(self->my_callback);
           if (cbresult == NULL)
               PyErr_WriteUnraisable(self->my_callback);
           else
               Py_DECREF(cbresult);

           /* This restores the saved exception state */
           PyErr_Restore(err_type, err_value, err_traceback);

           Py_DECREF(self->my_callback);
       }
       Py_TYPE(obj)->tp_free((PyObject*)self);
   }

注釈:

  メモリ解放関数の中で安全に行えることにはいくつか制限があります。 1つ
  目は、その型が ("tp_traverse" および "tp_clear" を使って) ガベージコ
  レクションをサポートしている場合、 "tp_dealloc" が呼び出されるまでに
  、消去されファイナライズされてしまうオブジェクトのメンバーが有り得る
  ことです。 2つ目は、 "tp_dealloc" の中ではオブジェクトは不安定な状態
  にあることです: つまり参照カウントが0であるということです。 (上の例
  にあるような) 複雑なオブジェクトや API の呼び出しでは、 "tp_dealloc"
  を再度呼び出し、二重解放からクラッシュすることになるかもしれません。
  Python 3.4 からは、複雑なファイナライズのコードは "tp_dealloc" に置
  かず、代わりに新しく導入された "tp_finalize" という型メソッドを使う
  ことが推奨されています。

  参考: **PEP 442** で新しいファイナライズの仕組みが説明されています。


3.2. オブジェクト表現
=====================

Python では、オブジェクトの文字列表現を生成するのに 2つのやり方があり
ます: "repr()" 関数を使う方法と、 "str()"  関数を使う方法です。
("print()" 関数は単に "str()" を呼び出します。) これらのハンドラはどち
らも省略できます。

   reprfunc tp_repr;
   reprfunc tp_str;

"tp_repr" ハンドラは呼び出されたインスタンスの文字列表現を格納した文字
列オブジェクトを返す必要があります。簡単な例は以下のようなものです:

   static PyObject *
   newdatatype_repr(newdatatypeobject *obj)
   {
       return PyUnicode_FromFormat("Repr-ified_newdatatype{{size:%d}}",
                                   obj->obj_UnderlyingDatatypePtr->size);
   }

If no "tp_repr" handler is specified, the interpreter will supply a
representation that uses the type's "tp_name" and a uniquely
identifying value for the object.

"tp_str" ハンドラと "str()" の関係は、上の "tp_repr" ハンドラと
"repr()" の関係に相当します。つまり、これは Python のコードがオブジェ
クトのインスタンスに対して "str()" を呼び出したときに呼ばれます。この
関数の実装は "tp_repr" ハンドラのそれと非常に似ていますが、得られる文
字列表現は人間が読むことを意図されています。 "tp_str" が指定されていな
い場合、かわりに "tp_repr" ハンドラが使われます。

以下は簡単な例です:

   static PyObject *
   newdatatype_str(newdatatypeobject *obj)
   {
       return PyUnicode_FromFormat("Stringified_newdatatype{{size:%d}}",
                                   obj->obj_UnderlyingDatatypePtr->size);
   }


3.3. 属性を管理する
===================

For every object which can support attributes, the corresponding type
must provide the functions that control how the attributes are
resolved.  There needs to be a function which can retrieve attributes
(if any are defined), and another to set attributes (if setting
attributes is allowed).  Removing an attribute is a special case, for
which the new value passed to the handler is "NULL".

Python supports two pairs of attribute handlers; a type that supports
attributes only needs to implement the functions for one pair.  The
difference is that one pair takes the name of the attribute as a
char*, while the other accepts a PyObject*.  Each type can use
whichever pair makes more sense for the implementation's convenience.

   getattrfunc  tp_getattr;        /* char * version */
   setattrfunc  tp_setattr;
   /* ... */
   getattrofunc tp_getattro;       /* PyObject * version */
   setattrofunc tp_setattro;

If accessing attributes of an object is always a simple operation
(this will be explained shortly), there are generic implementations
which can be used to provide the PyObject* version of the attribute
management functions. The actual need for type-specific attribute
handlers almost completely disappeared starting with Python 2.2,
though there are many examples which have not been updated to use some
of the new generic mechanism that is available.


3.3.1. 総称的な属性を管理する
-----------------------------

ほとんどの型は *単純な* 属性を使うだけです。では、どのような属性が単純
だといえるのでしょうか? それが満たすべき条件はごくわずかです:

1. "PyType_Ready()" が呼ばれたとき、すでに属性の名前がわかっていること
   。

2. 属性を参照したり設定したりするときに、特別な記録のための処理が必要
   でなく、また参照したり設定した値に対してどんな操作も実行する必要が
   ないこと。

これらの条件は、属性の値や、値が計算されるタイミング、または格納された
データがどの程度妥当なものであるかといったことになんら制約を課すもので
はないことに注意してください。

When "PyType_Ready()" is called, it uses three tables referenced by
the type object to create *descriptor*s which are placed in the
dictionary of the type object.  Each descriptor controls access to one
attribute of the instance object.  Each of the tables is optional; if
all three are "NULL", instances of the type will only have attributes
that are inherited from their base type, and should leave the
"tp_getattro" and "tp_setattro" fields "NULL" as well, allowing the
base type to handle attributes.

テーブルはタイプオブジェクト中の 3つのメンバとして宣言されています:

   struct PyMethodDef *tp_methods;
   struct PyMemberDef *tp_members;
   struct PyGetSetDef *tp_getset;

If "tp_methods" is not "NULL", it must refer to an array of
"PyMethodDef" structures.  Each entry in the table is an instance of
this structure:

   typedef struct PyMethodDef {
       const char  *ml_name;       /* method name */
       PyCFunction  ml_meth;       /* implementation function */
       int          ml_flags;      /* flags */
       const char  *ml_doc;        /* docstring */
   } PyMethodDef;

One entry should be defined for each method provided by the type; no
entries are needed for methods inherited from a base type.  One
additional entry is needed at the end; it is a sentinel that marks the
end of the array.  The "ml_name" field of the sentinel must be "NULL".

2番目のテーブルは、インスタンス中に格納されるデータと直接対応づけられ
た属性を定義するのに使います。いくつもの C の原始的な型がサポートされ
ており、アクセスを読み出し専用にも読み書き可能にもできます。このテーブ
ルで使われる構造体は次のように定義されています:

   typedef struct PyMemberDef {
       const char *name;
       int         type;
       int         offset;
       int         flags;
       const char *doc;
   } PyMemberDef;

For each entry in the table, a *descriptor* will be constructed and
added to the type which will be able to extract a value from the
instance structure.  The "type" field should contain a type code like
"Py_T_INT" or "Py_T_DOUBLE"; the value will be used to determine how
to convert Python values to and from C values.  The "flags" field is
used to store flags which control how the attribute can be accessed:
you can set it to "Py_READONLY" to prevent Python code from setting
it.

An interesting advantage of using the "tp_members" table to build
descriptors that are used at runtime is that any attribute defined
this way can have an associated doc string simply by providing the
text in the table.  An application can use the introspection API to
retrieve the descriptor from the class object, and get the doc string
using its "__doc__" attribute.

As with the "tp_methods" table, a sentinel entry with a "ml_name"
value of "NULL" is required.


3.3.2. 特定の型に特化した属性の管理
-----------------------------------

For simplicity, only the char* version will be demonstrated here; the
type of the name parameter is the only difference between the char*
and PyObject* flavors of the interface. This example effectively does
the same thing as the generic example above, but does not use the
generic support added in Python 2.2.  It explains how the handler
functions are called, so that if you do need to extend their
functionality, you'll understand what needs to be done.

The "tp_getattr" handler is called when the object requires an
attribute look-up.  It is called in the same situations where the
"__getattr__()" method of a class would be called.

以下に例を示します。:

   static PyObject *
   newdatatype_getattr(newdatatypeobject *obj, char *name)
   {
       if (strcmp(name, "data") == 0)
       {
           return PyLong_FromLong(obj->data);
       }

       PyErr_Format(PyExc_AttributeError,
                    "'%.100s' object has no attribute '%.400s'",
                    Py_TYPE(obj)->tp_name, name);
       return NULL;
   }

The "tp_setattr" handler is called when the "__setattr__()" or
"__delattr__()" method of a class instance would be called.  When an
attribute should be deleted, the third parameter will be "NULL".  Here
is an example that simply raises an exception; if this were really all
you wanted, the "tp_setattr" handler should be set to "NULL".

   static int
   newdatatype_setattr(newdatatypeobject *obj, char *name, PyObject *v)
   {
       PyErr_Format(PyExc_RuntimeError, "Read-only attribute: %s", name);
       return -1;
   }


3.4. オブジェクトの比較
=======================

   richcmpfunc tp_richcompare;

The "tp_richcompare" handler is called when comparisons are needed.
It is analogous to the rich comparison methods, like "__lt__()", and
also called by "PyObject_RichCompare()" and
"PyObject_RichCompareBool()".

This function is called with two Python objects and the operator as
arguments, where the operator is one of "Py_EQ", "Py_NE", "Py_LE",
"Py_GE", "Py_LT" or "Py_GT".  It should compare the two objects with
respect to the specified operator and return "Py_True" or "Py_False"
if the comparison is successful, "Py_NotImplemented" to indicate that
comparison is not implemented and the other object's comparison method
should be tried, or "NULL" if an exception was set.

これは内部ポインタのサイズが等しければ等しいと見なすデータ型のサンプル
実装です:

   static PyObject *
   newdatatype_richcmp(newdatatypeobject *obj1, newdatatypeobject *obj2, int op)
   {
       PyObject *result;
       int c, size1, size2;

       /* code to make sure that both arguments are of type
          newdatatype omitted */

       size1 = obj1->obj_UnderlyingDatatypePtr->size;
       size2 = obj2->obj_UnderlyingDatatypePtr->size;

       switch (op) {
       case Py_LT: c = size1 <  size2; break;
       case Py_LE: c = size1 <= size2; break;
       case Py_EQ: c = size1 == size2; break;
       case Py_NE: c = size1 != size2; break;
       case Py_GT: c = size1 >  size2; break;
       case Py_GE: c = size1 >= size2; break;
       }
       result = c ? Py_True : Py_False;
       Py_INCREF(result);
       return result;
    }


3.5. 抽象的なプロトコルのサポート
=================================

Python はいくつもの *抽象的な* “プロトコル”をサポートしています。これ
らを使用する特定のインターフェイスについては 抽象オブジェクトレイヤ
(Abstract Objects Layer) で解説されています。

A number of these abstract interfaces were defined early in the
development of the Python implementation.  In particular, the number,
mapping, and sequence protocols have been part of Python since the
beginning.  Other protocols have been added over time.  For protocols
which depend on several handler routines from the type implementation,
the older protocols have been defined as optional blocks of handlers
referenced by the type object.  For newer protocols there are
additional slots in the main type object, with a flag bit being set to
indicate that the slots are present and should be checked by the
interpreter.  (The flag bit does not indicate that the slot values are
non-"NULL". The flag may be set to indicate the presence of a slot,
but a slot may still be unfilled.)

   PyNumberMethods   *tp_as_number;
   PySequenceMethods *tp_as_sequence;
   PyMappingMethods  *tp_as_mapping;

お使いのオブジェクトを数値やシーケンス、あるいは辞書のようにふるまうよ
うにしたいならば、それぞれに C の "PyNumberMethods" 構造体、
"PySequenceMethods" 構造体、または "PyMappingMethods" 構造体のアドレス
を入れます。これらに適切な値を入れても入れなくてもかまいません。これら
を使った例は Python の配布ソースにある "Objects" でみつけることができ
るでしょう。

   hashfunc tp_hash;

この関数は、もし使うことにしたならば、データ型のインスタンスのハッシュ
番号を返すようにします。次のは単純な例です:

   static Py_hash_t
   newdatatype_hash(newdatatypeobject *obj)
   {
       Py_hash_t result;
       result = obj->some_size + 32767 * obj->some_number;
       if (result == -1)
          result = -2;
       return result;
   }

"Py_hash_t" is a signed integer type with a platform-varying width.
Returning "-1" from "tp_hash" indicates an error, which is why you
should be careful to avoid returning it when hash computation is
successful, as seen above.

   ternaryfunc tp_call;

この関数は、その型のインスタンスが「関数として呼び出される」ときに呼ば
れます。たとえばもし "obj1" にそのインスタンスが入っていて、Python ス
クリプトで "obj1('hello')" を実行したとすると、 "tp_call" ハンドラが呼
ばれます。

この関数は 3つの引数をとります:

1. *self* は呼び出しの対象となるデータ型のインスタンスです。 たとえば
   呼び出しが "obj1('hello')" の場合、*self* は "obj1" になります。

2. *args* は呼び出しの引数を格納しているタプルです。ここから引数を取り
   出すには "PyArg_ParseTuple()" を使います。

3. *kwds* is a dictionary of keyword arguments that were passed. If
   this is non-"NULL" and you support keyword arguments, use
   "PyArg_ParseTupleAndKeywords()" to extract the arguments.  If you
   do not want to support keyword arguments and this is non-"NULL",
   raise a "TypeError" with a message saying that keyword arguments
   are not supported.

以下は "tp_call" の簡易な実装です:

   static PyObject *
   newdatatype_call(newdatatypeobject *obj, PyObject *args, PyObject *kwds)
   {
       PyObject *result;
       const char *arg1;
       const char *arg2;
       const char *arg3;

       if (!PyArg_ParseTuple(args, "sss:call", &arg1, &arg2, &arg3)) {
           return NULL;
       }
       result = PyUnicode_FromFormat(
           "Returning -- value: [%d] arg1: [%s] arg2: [%s] arg3: [%s]\n",
           obj->obj_UnderlyingDatatypePtr->size,
           arg1, arg2, arg3);
       return result;
   }

   /* Iterators */
   getiterfunc tp_iter;
   iternextfunc tp_iternext;

These functions provide support for the iterator protocol.  Both
handlers take exactly one parameter, the instance for which they are
being called, and return a new reference.  In the case of an error,
they should set an exception and return "NULL".  "tp_iter" corresponds
to the Python "__iter__()" method, while "tp_iternext" corresponds to
the Python "__next__()" method.

Any *iterable* object must implement the "tp_iter" handler, which must
return an *iterator* object.  Here the same guidelines apply as for
Python classes:

* For collections (such as lists and tuples) which can support
  multiple independent iterators, a new iterator should be created and
  returned by each call to "tp_iter".

* Objects which can only be iterated over once (usually due to side
  effects of iteration, such as file objects) can implement "tp_iter"
  by returning a new reference to themselves -- and should also
  therefore implement the "tp_iternext"  handler.

Any *iterator* object should implement both "tp_iter" and
"tp_iternext".  An iterator's "tp_iter" handler should return a new
reference to the iterator.  Its "tp_iternext" handler should return a
new reference to the next object in the iteration, if there is one. If
the iteration has reached the end, "tp_iternext" may return "NULL"
without setting an exception, or it may set "StopIteration" *in
addition* to returning "NULL"; avoiding the exception can yield
slightly better performance.  If an actual error occurs, "tp_iternext"
should always set an exception and return "NULL".


3.6. 弱参照(Weak Reference)のサポート
=====================================

One of the goals of Python's weak reference implementation is to allow
any type to participate in the weak reference mechanism without
incurring the overhead on performance-critical objects (such as
numbers).

参考: Documentation for the "weakref" module.

For an object to be weakly referenceable, the extension type must set
the "Py_TPFLAGS_MANAGED_WEAKREF" bit of the "tp_flags" field. The
legacy "tp_weaklistoffset" field should be left as zero.

Concretely, here is how the statically declared type object would
look:

   static PyTypeObject TrivialType = {
       PyVarObject_HEAD_INIT(NULL, 0)
       /* ... other members omitted for brevity ... */
       .tp_flags = Py_TPFLAGS_MANAGED_WEAKREF | ...,
   };

The only further addition is that "tp_dealloc" needs to clear any weak
references (by calling "PyObject_ClearWeakRefs()"):

   static void
   Trivial_dealloc(TrivialObject *self)
   {
       /* Clear weakrefs first before calling any destructors */
       PyObject_ClearWeakRefs((PyObject *) self);
       /* ... remainder of destruction code omitted for brevity ... */
       Py_TYPE(self)->tp_free((PyObject *) self);
   }


3.7. その他いろいろ
===================

In order to learn how to implement any specific method for your new
data type, get the *CPython* source code.  Go to the "Objects"
directory, then search the C source files for "tp_" plus the function
you want (for example, "tp_richcompare").  You will find examples of
the function you want to implement.

When you need to verify that an object is a concrete instance of the
type you are implementing, use the "PyObject_TypeCheck()" function.  A
sample of its use might be something like the following:

   if (!PyObject_TypeCheck(some_object, &MyType)) {
       PyErr_SetString(PyExc_TypeError, "arg #1 not a mything");
       return NULL;
   }

参考:

  Download CPython source releases.
     https://www.python.org/downloads/source/

  The CPython project on GitHub, where the CPython source code is
  developed.
     https://github.com/python/cpython
