Friday, August 11, 2017

Python: function introspection with help and dir

As explained in my Summer of code 2017: Python post I decided to pick up Python

This is officially day 55. Today I decided to look at function introspection in Python

To see what methods are in a object, you can use the dir function

Without arguments, return the list of names in the current local scope. With an argument, attempt to return a list of valid attributes for that object.

If I just open an interactive shell and type dir(), here is what I see

>>> dir()
['__builtins__', '__doc__', '__file__', '__loader__', '__name__', '__package__'
 , '__spec__', 'test_kwargs']

To see what is available in a class or function, for example sys, I first need to import sys and then pass sys into the dir function, here is the output

>>> import sys
>>> dir(sys)
['__displayhook__', '__doc__', '__excepthook__', '__interactivehook__',
'__loader__', '__name__', '__package__', '__spec__', '__stderr__', 
'__stdin__', '__stdout__', '_clear_type_cache', '_current_frames', 
'_debugmallocstats', '_enablelegacywindowsfsencoding', '_getframe', 
'_home', '_mercurial', '_xoptions', 'api_version', 'argv', 'base_exec_prefix',
'base_prefix', 'builtin_module_names', 'byteorder', 'call_tracing',
'callstats', 'copyright', 'displayhook', 'dllhandle', 'dont_write_bytecode', 
'exc_info', 'excepthook', 'exec_prefix', 'executable', 'exit', 'flags',
'float_info', 'float_repr_style', 'get_asyncgen_hooks', 'get_coroutine_wrapper',
'getallocatedblocks', 'getcheckinterval', 'getdefaultencoding',
'getfilesystemencodeerrors', 'getfilesystemencoding', 'getprofile',
'getrecursionlimit', 'getrefcount', 'getsizeof', 'getswitchinterval',
'gettrace', 'getwindowsversion', 'hash_info', 'hexversion', 'implementation',
'int_info', 'intern', 'is_finalizing', 'maxsize', 'maxunicode', 'meta_path',
'modules', 'path', 'path_hooks', 'path_importer_cache', 'platform', 'prefix',
'ps1', 'ps2', 'set_asyncgen_hooks', 'set_coroutine_wrapper', 'setcheckinterval',
'setprofile', 'setrecursionlimit', 'setswitchinterval', 'settrace', 'stderr',
'stdin', 'stdout', 'thread_info', 'version', 'version_info', 'warnoptions', 

To get some details about any of the methods returned above, we can use the help function

Invoke the built-in help system. (This function is intended for interactive use.) If no argument is given, the interactive help system starts on the interpreter console. If the argument is a string, then the string is looked up as the name of a module, function, class, method, keyword, or documentation topic, and a help page is printed on the console. If the argument is any other kind of object, a help page on the object is generated.

To get some details about settrace, we can execute the following:  help(sys.settrace)

Help on built-in function settrace in module sys:
    Set the global debug tracing function.  It will be called on each
    function call.  See the debugger chapter in the library manual.

Here is another example

Help on tuple object:
class tuple(object)
 |  tuple() -> empty tuple
 |  tuple(iterable) -> tuple initialized from iterable's items
 |  If the argument is a tuple, the return value is the same object.
 |  Methods defined here:
 |  __add__(self, value, /)
 |      Return self+value.
 |  __contains__(self, key, /)
 |      Return key in self.
 |  __eq__(self, value, /)
 |      Return self==value.
 |  __ge__(self, value, /)
 |      Return self>=value.
 |  __getattribute__(self, name, /)
 |      Return getattr(self, name).
 |  __getitem__(self, key, /)
 |      Return self[key].
 |  __getnewargs__(...)
 |  __gt__(self, value, /)
 |      Return self>value.
 |  __hash__(self, /)
 |      Return hash(self).
 |  __iter__(self, /)
 |      Implement iter(self).
 |  __le__(self, value, /)
 |      Return self<=value.
 |  __len__(self, /)
 |      Return len(self).
 |  __lt__(self, value, /)
 |      Return self<value.
 |  __mul__(self, value, /)
 |      Return self*value.n
 |  __ne__(self, value, /)
 |      Return self!=value.
 |  __new__(*args, **kwargs) from builtins.type
 |      Create and return a new object.  See help(type) for accurate signature.
 |  __repr__(self, /)
 |      Return repr(self).
 |  __rmul__(self, value, /)
 |      Return self*value.
 |  count(...)
 |      T.count(value) -> integer -- return number of occurrences of value
 |  index(...)
 |      T.index(value, [start, [stop]]) -> integer -- return first index of value.
 |      Raises ValueError if the value is not present.

You can also use help against a class or function, here is what the lengthy output looks like

Help on built-in module sys:
    The following documentation is automatically generated from the Python
    source files.  It may be incomplete, incorrect or include features that
    are considered implementation detail and may vary between Python
    implementations.  When in doubt, consult the module reference at the
    location listed above.
    This module provides access to some objects used or maintained by the
    interpreter and to functions that interact strongly with the interpreter.
    Dynamic objects:
    argv -- command line arguments; argv[0] is the script pathname if known
    path -- module search path; path[0] is the script directory, else ''
    modules -- dictionary of loaded modules
    displayhook -- called to show results in an interactive session
    excepthook -- called to handle any uncaught exception other than SystemExit
      To customize printing in an interactive session or to install a custom
      top-level exception handler, assign other functions to replace these.
    stdin -- standard input file object; used by input()
    stdout -- standard output file object; used by print()
    stderr -- standard error object; used for error messages
      By assigning other file objects (or objects that behave like files)
      to these, it is possible to redirect all of the interpreter's I/O.
    last_type -- type of last uncaught exception
    last_value -- value of last uncaught exception
    last_traceback -- traceback of last uncaught exception
      These three are only available in an interactive session after a
      traceback has been printed.
    Static objects:
    builtin_module_names -- tuple of module names built into this interpreter
    copyright -- copyright notice pertaining to this interpreter
    exec_prefix -- prefix used to find the machine-specific Python library
    executable -- absolute path of the executable binary of the Python interpreter
    float_info -- a struct sequence with information about the float implementation.
    float_repr_style -- string indicating the style of repr() output for floats
    hash_info -- a struct sequence with information about the hash algorithm.
    hexversion -- version information encoded as a single integer
    implementation -- Python implementation information.
    int_info -- a struct sequence with information about the int implementation.
    maxsize -- the largest supported length of containers.
    maxunicode -- the value of the largest Unicode code point
    platform -- platform identifier
    prefix -- prefix used to find the Python library
    thread_info -- a struct sequence with information about the thread implementation.
    version -- the version of this interpreter as a string
    version_info -- version information as a named tuple
    dllhandle -- [Windows only] integer handle of the Python DLL
    winver -- [Windows only] version number of the Python DLL
    _enablelegacywindowsfsencoding -- [Windows only] 
    __stdin__ -- the original stdin; don't touch!
    __stdout__ -- the original stdout; don't touch!
    __stderr__ -- the original stderr; don't touch!
    __displayhook__ -- the original displayhook; don't touch!
    __excepthook__ -- the original excepthook; don't touch!
    displayhook() -- print an object to the screen, and save it in builtins._
    excepthook() -- print an exception and its traceback to sys.stderr
    exc_info() -- return thread-safe information about the current exception
    exit() -- exit the interpreter by raising SystemExit
    getdlopenflags() -- returns flags to be used for dlopen() calls
    getprofile() -- get the global profiling function
    getrefcount() -- return the reference count for an object (plus one :-)
    getrecursionlimit() -- return the max recursion depth for the interpreter
    getsizeof() -- return the size of an object in bytes
    gettrace() -- get the global debug tracing function
    setcheckinterval() -- control how often the interpreter checks for events
    setdlopenflags() -- set the flags to be used for dlopen() calls
    setprofile() -- set the global profiling function
    setrecursionlimit() -- set the max recursion depth for the interpreter
    settrace() -- set the global debug tracing function
    __displayhook__ = displayhook(...)
        displayhook(object) -> None
        Print an object to sys.stdout and also save it in builtins._
    __excepthook__ = excepthook(...)
        excepthook(exctype, value, traceback) -> None
        Handle an exception by displaying it with a traceback on sys.stderr.
        call_tracing(func, args) -> object
        Call func(*args), while tracing is enabled.  The tracing state is
        saved, and restored afterwards.  This is intended to be called from
        a debugger from a checkpoint, to recursively debug some other code.
        callstats() -> tuple of integers
        Return a tuple of function call statistics, if CALL_PROFILE was defined
        when Python was built.  Otherwise, return None.
        When enabled, this function returns detailed, implementation-specific
        details about the number of function calls executed. The return value is
        a 11-tuple where the entries in the tuple are counts of:
        0. all function calls
        1. calls to PyFunction_Type objects
        2. PyFunction calls that do not create an argument tuple
        3. PyFunction calls that do not create an argument tuple
           and bypass PyEval_EvalCodeEx()
        4. PyMethod calls
        5. PyMethod calls on bound methods
        6. PyType calls
        7. PyCFunction calls
        8. generator calls
        9. All other calls
        10. Number of stack pops performed by call_function()
        exc_info() -> (type, value, traceback)
        Return information about the most recent exception caught by an except
        clause in the current stack frame or in an older stack frame.
        excepthook(exctype, value, traceback) -> None
        Handle an exception by displaying it with a traceback on sys.stderr.
        Exit the interpreter by raising SystemExit(status).
        If the status is omitted or None, it defaults to zero (i.e., success).
        If the status is an integer, it will be used as the system exit status.
        If it is another kind of object, it will be printed and the system
        exit status will be one (i.e., failure).
        Return a namedtuple of installed asynchronous generators hooks (firstiter, finalizer).
        Return the wrapper for coroutine objects set by sys.set_coroutine_wrapper.
        getallocatedblocks() -> integer
        Return the number of memory blocks currently allocated, regardless of their
        getcheckinterval() -> current check interval; see setcheckinterval().
        getdefaultencoding() -> string
        Return the current default string encoding used by the Unicode 
        getfilesystemencodeerrors() -> string
        Return the error mode used to convert Unicode filenames in
        operating system filenames.
        getfilesystemencoding() -> string
        Return the encoding used to convert Unicode filenames in
        operating system filenames.
        Return the profiling function set with sys.setprofile.
        See the profiler chapter in the library manual.
        Return the current value of the recursion limit, the maximum depth
        of the Python interpreter stack.  This limit prevents infinite
        recursion from causing an overflow of the C stack and crashing Python.
        getrefcount(object) -> integer
        Return the reference count of object.  The count returned is generally
        one higher than you might expect, because it includes the (temporary)
        reference as an argument to getrefcount().
        getsizeof(object, default) -> int
        Return the size of object in bytes.
        getswitchinterval() -> current thread switch interval; see setswitchinterval().
        Return the global debug tracing function set with sys.settrace.
        See the debugger chapter in the library manual.
        Return information about the running version of Windows as a named tuple.
        The members are named: major, minor, build, platform, service_pack,
        service_pack_major, service_pack_minor, suite_mask, and product_type. For
        backward compatibility, only the first 5 items are available by indexing.
        All elements are numbers, except service_pack and platform_type which are
        strings, and platform_version which is a 3-tuple. Platform is always 2.
        Product_type may be 1 for a workstation, 2 for a domain controller, 3 for a
        server. Platform_version is a 3-tuple containing a version number that is
        intended for identifying the OS rather than feature detection.
        intern(string) -> string
        ``Intern'' the given string.  This enters the string in the (global)
        table of interned strings whose purpose is to speed up dictionary lookups.
        Return the string itself or the previously interned string object with the
        same value.
        Return True if Python is exiting.
        set_asyncgen_hooks(*, firstiter=None, finalizer=None)
        Set a finalizer for async generators objects.
        Set a wrapper for coroutine objects.
        Tell the Python interpreter to check for asynchronous events every
        n instructions.  This also affects how often thread switches occur.
        Set the profiling function.  It will be called on each function call
        and return.  See the profiler chapter in the library manual.
        Set the maximum depth of the Python interpreter stack to n.  This
        limit prevents infinite recursion from causing an overflow of the C
        stack and crashing Python.  The highest possible limit is platform-
        Set the ideal thread switching delay inside the Python interpreter
        The actual frequency of switching threads can be lower if the
        interpreter executes long sequences of uninterruptible code
        (this is implementation-specific and workload-dependent).
        The parameter must represent the desired switching delay in seconds
        A typical value is 0.005 (5 milliseconds).
        Set the global debug tracing function.  It will be called on each
        function call.  See the debugger chapter in the library manual.
    __stderr__ = None
    __stdin__ = None
    __stdout__ = None
    api_version = 1013
    argv = ['']
    base_exec_prefix = r'C:\Program Files\Python36'
    base_prefix = r'C:\Program Files\Python36'
    builtin_module_names = ('_ast', '_bisect', '_blake2', '_codecs', '_cod...
    byteorder = 'little'
    copyright = 'Copyright (c) 2001-2016 Python Software Foundati...ematis...
    dllhandle = 490799104
    dont_write_bytecode = False
    exec_prefix = r'C:\Program Files\Python36'
    executable = r'C:\Program Files\Python36\pythonw.exe'
    flags = sys.flags(debug=0, inspect=0, interactive=0,, quie...
    float_info = sys.float_info(max=1.7976931348623157e+308, max_...epsilo...
    float_repr_style = 'short'
    hash_info = sys.hash_info(width=64, modulus=2305843009213693...iphash2...
    hexversion = 50725104
    implementation = namespace(cache_tag='cpython-36',
    int_info = sys.int_info(bits_per_digit=30, sizeof_digit=4)
    last_value = NameError("name 'elp' is not defined",)
    maxsize = 9223372036854775807
    maxunicode = 1114111
    meta_path = [<class '_frozen_importlib.BuiltinImporter'>, <class '_fro...
    modules = {'__main__': <module '__main__' (built-in)>, '_ast': <module...
    path = ['', r'C:\Program Files\Python36\Lib\idlelib', r'C:\Program Fil...
    path_hooks = [<class 'zipimport.zipimporter'>, <function
    path_importer_cache = {r'C:\Program Files\Python36': FileFinder('C:\\P...
    platform = 'win32'
    prefix = r'C:\Program Files\Python36'
    stderr = < object>
    stdin = < object>
    stdout = < object>
    thread_info = sys.thread_info(name='nt', lock=None, version=None)
    version = '3.6.0 (v3.6.0:41df79263a11, Dec 23 2016, 08:06:12) [MSC v.1...
    version_info = sys.version_info(major=3, minor=6, micro=0, releaseleve...
    warnoptions = []
    winver = '3.6'

Finally, you can also use the __doc__ (dunder doc) attribute to get a documentation string back

Here is an excerpt

This module provides access to some objects used or maintained by the\n
interpreter and to functions that interact strongly with the interpreter.\n
\nDynamic objects:\n\nargv -- command line arguments; argv[0] is the script 
pathname if known\npath -- module search path; path[0] is the script directory,
else ''\nmodules -- dictionary of loaded modules\n\ndisplayhook 
-- called to show results in an interactive session\nexcepthook 
-- called to handle any uncaught exception other than SystemExit\n  
To customize printing in an interactive session or to install a custom\n
top-level exception handler, assign other functions to replace these.\n\nstdin
-- standard input file object; used by input()\nstdout -- 
standard output file object; used by print()\nstderr -- standard error object;
used for error messages\n  By assigning other file objects 

As you can see dir and help are helpful if you need some info about a class, function or method in Python

No comments: