WIP: assembly step

Pulled preproc init and free into their own function so that
recrusive preproc parses may initialize their own buffers if needed

Fixed tests

Added \n trim to macro params

Removed stray token check in preproc

Added basic preprocessor to cli

Fixed comment

Added tests for ifdef and ifndef

WIP: ifdef

Making sure that macro params will fit into the buffer

Added some useful comments for macro expansion

Fixed test case for define without a value so that it does not consume
the nearest white space anymore

Added additional test case for define with no value

defines and parameters now correctly expand white spaces before the
inserted text

Updated macro expansion test

Added special $$ macro variable

Added simple docs for #define

Added #undef directive

Added preproc def lookup function for defined directives

Removed stdbool

Added more tests for macros

Added TODO item for macro expansion. Currently I am 99% certain we are
allocating too large a buffer.

Added basic macro expansion

WIP: macro expansion

Script cleanup

Refactored naming in weldtok

Refactored tokenizer to allow for terminator tokens

Added $ vars

WIP: macros

WIP: macro expand

WIP: macros expansion

WIP: macros

Refactored return code for preprocnext

Documented behavior of preproc

Split up preproc call to allow recursive calls in preprocline

Added #define directive

WIP: added global assembly state

Made tokenizer better at... tokenizing

Removed unused constants

Refactored tokenizer to use  a dynamic string buffer

Added panic macro

Re-worked preproc rules

WIP: preproc directive detection

Removed most malloc calls

WIP: Added test for tokline

WIP: tokenizer

WIP: preproc

Cleaned up tokenizer

The tokenizer now skips leading terminator characters

WIP: added simple tokenizer with tests

WIP: preprocessor

WIP: expression and token definitions

WIP: basic io

WIP: cli args

Initial commit

Updated readme

Initial commit