用語解説と資料

データの内部形式
  浮動小数点数が実際にメモリーに格納される際の書式．
符号，指数部，仮数部の bit 数と順番，およびそれらの換算，変換のされ方． (基数はメモリーに格納されない．)

仮数 (mantissa)
  浮動小数点数 x の値は，符号 (sign) s，基数 (radix) b，指数 (exponential) e，仮数 (mantissa) p から次式で計算する．

x = s*pow(b,e)*p

基数が 2 の場合には，正規化すると MSB が必ず 1 になるので，これは表示しなくてもよい． この陽に現われない 1 bit をインプリシット・ビット (implicit bit) と呼ぶ． これよって 1 bit を余分に使うことができ，精度が高くなる．

(注1) ややこしいですが，「implicit bit を持つ表現」と言ったら，この 1 bit を省略した表現のことです．
  i386 + gcc においては，float と double は implicit bit を持つ表現が使われています．
(注2) 私見ですが，「仮数」という場合はあくまで上式の p に限定し，implicit bit の概念はデータの内部形式，すなわち下記の「仮数部」または「有効数字部」に対して適用するのが良いでしょう．

仮数部，有効数字部 (significant)
  仮数のうち浮動小数点数の内部形式の中に存在している (すなわちメモリーに格納された) 部分のこと．
implicit bit を持たない表現に対しては有効数字部と仮数とは一致するが，それを持つ表現に対しては有効数字部の前に 1 bit を追加したものが仮数となる．

(注1) 二つの呼称は同じものを指しています． 一般には「仮数部」の方が使われていますが，上の解説は文献 [2] に依るのでそれに従って「有効数字部」を使いました．
(注2)「内部形式のこの部分」を指すために「指数部」「仮数部」のように「部」を付加していると解釈すれば良いでしょう．
(注3)「有効数字部」が「仮数」と混同されている場合もあります． 例えば man ieee では "significant bit" は仮数の bit 数の意味で使われていますが，この用語解説を正とするならば誤用です．

指数 (expnent)
  浮動小数点数において，基数のべき乗の項を，基数を省略してべきだけで表わしたもの． そのデータのオーダーを示す．
  浮動小数点表示したデータの大きさを変化させていくと，これが一定で仮数だけが変わっていく値の範囲がある． これを，基数が 2 ならばバイネード (binade)，10 ならばディケード (decade) のように表現する． あるバイネード，ディケードのなかでは，値の分解能は等しい．

指数は実際の値にある一定の値が加えられたものが使われている． このことは「バイアス付き」とか「ゲタはき」とか呼ばれている． これにより，負のある値から正のある値までを，正の値だけで処理することができ，符号の煩わしさを避けることができる．

正規化 (normalization)
  仮数の有効数字を最大限にとるために，仮数を，最上位桁に 0 が立たなくなるまで左にずらし，同時に指数を減らす操作．
仮数の先頭桁が 0 のデータを，一般に非正規化数 (not normalized number) といい，IEEE 規格ではアンノーマル (unnormal)，デノーマル (denormal) の二種類ある． デノーマルは指数が最小値のもので，正規化数の最小値と 0 の間のギャップを埋める働きをもつ． アンノーマルは，デノーマルを除いた，一般的な非正規化数である．

(注) implicit bit を使う場合，非正規化数は表現できません． また，正規化数に対しては小数点は仮数の先頭ビットの次にあるものと考えます．

ゼロ (zero)
  浮動小数点数は「仮数×基数の指数乗」で表現されるが，0 に何を掛けても結果は 0 であるから，仮数が 0 のデータはすべて 0 の値を表わす． これらの 0 のうち，指数が 0 でないものをきたない 0 という． きれいな 0 は指数も 0 であり，ビット・パターンがすべて 0 である．
  符号はどちらでもよく，したがって，正の 0 と負の 0 がある．

(注) 基数が 2 の場合に implicit bit を使うと，仮数 p の値域は 1 <= p < 2 であり 0 にはなれません． この場合，0 はきれいな 0 で表わします．

無限大 (infinite)
  0, 非数などと同様の，IEEE 規格における特殊数の一つで，オーバーフローや 0 除算が発生し，ユーザでトラップしないとき返される．
無限大には符合があるが，正負を同一のものとして扱う射影モード (projection mode) と，通常の数直線のように並ぶアフィン・モード (affine mode) の二つが用意されている．
  i386 + gcc では，無限大は指数部の bit がすべて 1 であり，仮数部の bit がすべて 0 である． 符号はどちらでもよく，したがって，正の無限大と負の無限大がある．

非数 (Not-A-Number : NaN)
  数値が存在しないことを示すビット・パターン． マシンによっては予約数，不定数などともいう．
これらと通常の数の大小は比較できないから，比較演算に非数が使われると比較不能 (unordered) になる． また，これに対する演算は無効 (invalid) の例外を発生する．
  指数部の bit がすべて 1 であり，仮数部の bit が一つでも 1 であるもの． (すべてが 0 であれば，無限大になる．) 演算の中で NaN があれば，結果は NaN になる．

演算に伴って誤差がなぜ，どのように発生するかに関しては文献 [4], [5] に解説があります．

誤差 (error)
  浮動小数点演算で発生する誤差は 3 種類ある．
(1) 被演算項の値が正しく，演算も正確だとしても，演算結果は，仮数が元と同じビット数のフォーマットに丸める必要がある． この段階で生ずるのが丸め誤差である． IEEE 規格では，丸めで結果不正確 (inexact result) の例外が発生する．
(2) 二つのデータの絶対値が大きく異なる加減算では，桁そろえによって，小さい方の数の下位何桁かが失われる． これを情報落ちという． IEEE 規格では，この誤差は許されない．
(3) 減算で 2 数が近い場合は，上位何桁かが失われる． これが桁落ち (cancelling) である．

アンダーフロー (underflow)
  日本語では「下位桁あふれ」． 演算結果が，正規化した浮動小数点数で表現できる最小値を下回った状況をいう． これまでは，メモリーに格納する形式には非正規化数が許されないため，アンダーフローが起きたとたんに 0 にしてしまう 0 フラッシュ処置がとられた． IEEE 規格では，この場合も指数が最小の非正規化数 (デノーマル : denormal) を許し，絶対値が最小の正規化数と 0 との間を等間隔の分解能で表現できるようにしている． (段階的アンダーフロー)

オーバーフロー (overflow)
  桁あふれ． 演算結果が大きくなりすぎて，浮動小数点数の最大値でも表現できない場合をいう．

精度 (precision)
  有効数字の桁数． 仮数に割り当てられたビット数に比例する．
なお，ガード・ビット (guard bits) とよばれる余分なビットを浮動小数点アキュムレーターの LSB のさらに下位に設けると，アキュムレーターのビット幅が，演算中は仮数より長くなり，誤差の軽減に役立つ．

丸め (rounding)
  演算結果の有効桁数が所定の仮数部より長くなって，二つの浮動小数の間に入った場合，値をどちらかにする操作． 方法として切り上げ，切り捨て，四捨五入の三つが考えられるが，丸めは通常は四捨五入を指す．

例外 (exception)
  被演算項または演算結果が異常で，通常の演算操作が続けられない状態．

関数 (function)
  関数の計算法は，大きく二つに分かれる．
  第一は「二つの変数があり，一方が特定の値に接近するにつれて，他方が目的の関数値に収束するような関数関係を利用する」方法である． これの代表例は CORDIC (coordinate rotation digital computation) で，加減算とシフトだけで実現できるため，三角関数や対数の計算が乗除算と同程度の速度でできる長所をもつ．
  第二が Taylor，ミニマックス，Chebyshev などによる多項式近似である． この方法は，計算が簡単なことや，多項式に対する演算 (加減算，微積分) の結果もやはり多項式になる，といった理由でよく使われる．

(注) 無責任に引用して済みませんが，私はこの第一の場合に出会ったことがなく，上記の説明は理解できません． 算術関数に関しては，次節で私なりの知見を述べます．