様々な音声合成技術の長所と短所を抽出する。
音声合成システムの最も重要な品質は、自然さと明瞭さである。自然さとは、出力がいかに人間の音声に近いかを表し、明瞭さとは、出力がいかに理解されやすいかを表す。理想的な音声合成システムは、自然さと明瞭さの両方を兼ね備えています。音声合成システムは通常、両方の特性を最大化しようとします。

合成音声波形を生成する2つの主要な技術は、連結合成とフォルマント合成です。それぞれの技術には長所と短所があり、合成システムの使用目的によって、どちらのアプローチを使うかが決まるのが一般的です。

連結合成
主な記事連結合成
連結合成は、録音された音声のセグメントを連結（つなぎ合わせる）することに基づいています。一般的に、連結合成は最も自然に聞こえる合成音声を生成します。しかし、音声の自然な変化と、波形を分割するための自動化された技術の性質の違いにより、出力に聞き取りやすい不具合が生じることがあります。連結合成には、主に3つのサブタイプがあります。

単位選択合成
単位選択合成は、録音された音声の大規模なデータベースを使用します。データベースを作成する際、録音された各発話は、個々の音声、濁音、半濁音、音節、形態素、単語、フレーズ、文の一部またはすべてに分割されます。通常、セグメントへの分割は、波形やスペクトログラムのような視覚的な表現を使用して、「強制アライメント」モードに設定された特別に修正された音声認識装置を使用し、その後に手動で修正します。次に、セグメント化と、基本周波数（ピッチ）、継続時間、音節内の位置、隣接する電話などの音響パラメータに基づいて、音声データベース内のユニットのインデックスが作成されます。実行時に、データベースから候補ユニットの最適な連鎖を決定することで、目的のターゲット発話が作成されます（ユニット選択）。このプロセスは通常、特別に重み付けされた決定木を使用して実現されます。

ユニット選択は、録音された音声にわずかなデジタル信号処理（DSP）を適用するだけなので、最も自然な音声が得られます。DSPは、録音された音声を自然でないものにすることが多いが、波形を滑らかにするために、連結の時点で少量の信号処理を行うシステムもある。最良のユニット選択システムからの出力は、特にTTSシステムが調整されたコンテキストでは、実際の人間の声と区別がつかないことが多い。しかし、最大限の自然さを実現するためには、一般的に単位選択音声データベースが非常に大きくなる必要があり、システムによっては、数十時間分の音声を録音したギガバイト級のデータ量に及ぶものもある。また、ユニット選択アルゴリズムでは、データベース内により良い選択肢が存在する場合でも、理想的な合成が得られない（例えば、細かい単語が不明瞭になる）場所からセグメントを選択してしまうことが知られています。最近、研究者たちは、単位選択音声合成システムにおいて不自然なセグメントを検出するためのさまざまな自動化手法を提案しています。

ダイフォン合成
ダイフォン合成では、言語内で発生するすべてのダイフォン（音から音への遷移）を含む最小限の音声データベースを使用します。例えば、スペイン語には約800のダイフォンがあり、ドイツ語には約2500のダイフォンがある。ダイフォン合成では、各ダイフォンの一例のみが音声データベースに含まれる。実行時には、線形予測符号化、PSOLA、MBROLAなどのデジタル信号処理技術や、離散コサイン変換を使用したソース領域でのピッチ修正などの最近の技術によって、文のターゲット韻律がこれらの最小単位に重ね合わされます。ディフォーン・シンセシスは、コンカチネーティブ・シンセシスの音の不具合や、フォルマント・シンセシスのロボット的な響きに悩まされ、小型化以外の利点はほとんどありません。そのため、商用アプリケーションでの使用は減少しているが[要出典]、自由に利用できるソフトウェア実装が多数あるため、研究分野では使用され続けている。ダイフォン合成の初期の例は、マイケル・J・フリーマンが発明した教育ロボット、リーチムである。リーチムには、授業カリキュラムに関する情報と、教えるようにプログラムされた生徒の経歴情報が含まれていた。ニューヨーク州ブロンクスの4年生の教室でテストされた。

領域別合成
分野別合成は、あらかじめ録音された単語やフレーズを連結して完全な発話を作成する。システムが出力するテキストの種類が、交通機関の時刻表や天気予報など、特定の分野に限定されるような用途に使われる。この技術は実装が非常に簡単で、しゃべる時計や電卓のような機器では、長い間商業的に使用されてきた。文の種類が限られており、元の録音の韻律やイントネーションに近いため、これらのシステムの自然さのレベルは非常に高くなる可能性がある[要出典]。

これらのシステムはデータベース内の単語やフレーズに制限されているため、汎用性がなく、あらかじめプログラムされた単語やフレーズの組み合わせしか合成できません。しかし、自然な話し言葉の中の単語のブレンドは、多くのバリエーションが考慮されない限り、問題を引き起こす可能性がある。例えば、英語の非母音方言では、「clear」/ˈklɪə/のような単語の「r」は、通常、次の単語の最初の文字が母音である場合にのみ発音されます（例えば、「clear out」は/ˌklɪəɹˈʌʊ/となります）。同様にフランス語では、母音で始まる単語が続くと、多くの終止子音が無声化します。この交互作用は、単純な単語連結システムでは再現できず、文脈を考慮した複雑な仕組みが必要になります。

フォルマント合成
フォルマント合成では、実行時に人間の音声サンプルを使用しません。代わりに、合成された音声出力は、加算合成と音響モデル（物理モデリング合成）を使って作成されます。基本周波数、ボイシング、ノイズレベルなどのパラメータを時間と共に変化させ、人工音声の波形を作成します。この方法はルールベース合成と呼ばれることもありますが、多くの連結システムはルールベースのコンポーネントも持っています。フォルマント合成技術に基づくシステムの多くは、人間の音声と見間違うことのない人工的なロボット音声を生成します。しかし、最大限の自然さが音声合成システムの目標とは限らず、フォルマント合成システムには連結システムにはない利点があります。フォルマント合成された音声は、非常に高速でも確実に聞き取ることができ、連結合成システムにありがちな音響的な不具合を避けることができます。高速合成音声は、視覚障害者がスクリーン・リーダーを使ってコンピュータを素早く操作するのに使われています。フォルマント合成器は、音声サンプルのデータベースを持たないため、通常、連結システムよりも小さなプログラムです。そのため、メモリやマイクロプロセッサのパワーが特に制限される組み込みシステムで使用することができる。フォルマントベースのシステムは、出力音声のあらゆる側面を完全に制御できるため、多様な韻律やイントネーションを出力することができ、質問や発言だけでなく、さまざまな感情や声のトーンを伝えることができます。

フォルマント合成において、非リアルタイムでありながら高精度のイントネーション制御を実現した例としては、1970年代後半にテキサス・インスツルメンツ社の玩具「スピーク＆スペル」や、1980年代前半にセガ社のアーケードゲーム機や、TMS5220 LPCチップを使用したアタリ社の多くのアーケードゲームが挙げられます。これらのプロジェクトで適切なイントネーションを作成するのは骨の折れる作業で、その成果は、リアルタイムの音声合成インターフェースにはまだ及ばない。

調音合成
調音合成とは、人間の声道とそこで発生する調音過程のモデルに基づいて音声を合成する計算技術を指します。1970年代半ば、フィリップ・ルービン、トム・ベアー、ポール・メルメルスタインによって、ハスキンズ研究所で開発されました。ASYとして知られるこのシンセサイザーは、ポール・マーメルスタイン、セシル・コーカーらによって1960年代から1970年代にかけてベル研究所で開発された声道モデルに基づいている。

最近まで、調音合成モデルは商用音声合成システムには組み込まれていませんでした。特筆すべき例外は、カルガリー大学のスピンオフ企業であるTrillium Sound Research社が開発・販売したNeXTベースのシステムである。1980年代後半にスティーブ・ジョブズによって設立され、1997年にアップルコンピュータと合併した）NeXTの様々な化身の終焉後、トリリウムのソフトウェアはGNU General Public Licenseの下で公開され、gnuspeechとして作業が続けられた。1994年に初めて販売されたこのシステムは、カレの「特徴的な領域モデル」によって制御された人間の口腔と鼻腔の導波管または伝送線アナログを使用して、完全な調音ベースのテキスト音声変換を提供します。

ホルヘ・C・ルセロらによって開発された最近のシンセサイザーは、声帯のバイオメカニクス、声門の空気力学、気管支、鼻腔、口腔内の音響波伝播のモデルを組み込んでおり、物理学に基づく音声シミュレーションの完全なシステムを構成している。
合成音声波形を生成する2つの主要な技術は、連結合成とフォルマント合成である。

連結合成は、録音された音声のセグメントをつなぎ合わせることに基づいています。一般に、最も自然に聞こえる合成音声が得られます。しかし、音声の自然な変化と、波形を分割するための自動化された技術の性質の違いにより、出力に聞き取りやすい不具合が生じることがあります。最大限の自然さを得るには、通常、音声データベースが非常に大きくなる必要があり、システムによっては、数十時間分の音声を記録したギガバイト級のデータ量になることもあります。

フォルマント合成では、実行時に人間の音声サンプルを使用しません。代わりに、合成された音声出力は、加算合成と音響モデルを使用して作成されます。  フォルマント合成技術に基づく多くのシステムは、人間の音声と見間違うことのない人工的なロボット音声を生成する。  これらのシステムは、音声サンプルのデータベースを持たないため、通常、連結システムよりも小規模なプログラムとなります。そのため、メモリやマイクロプロセッサのパワーが特に制限される組み込みシステムで使用することができる。