公開日：2025/02/15

33rd Season

#33-7　多コア化に挑戦（トリ）

　Cmod A7ボード(FPGA)を使って、オリジナル16ビットCPUコアMoscoviumの開発を進めています。

　前々回から、1つのマイコン上に多数のCPUコアを集積する、多コア化をテーマに考察を重ねています。

割り込みの検討

　前回までに、多数CPU → 1系統メモリバスに関する検討は終わりました。
　今度は、多数割り込み要因 → 複数CPUコアへの割り込み要求について検討して行きましょう。

　現在のデュアルコア対応版割り込みコントローラINTC322DVLでは、以下の様な、高水準割り込み機能に対応しています。

• ベクタ割り込み
• 割り込みレベル

　INTC322DVLはデュアルコア対応版で、各CPU毎に割り込み要因をマスク😷することができます(下図)。



　I/Oユニットから要求される割り込み要因毎に、どちらのCPUに割り込みを要求するのか、割り込みマスクintmskレジスタによって選択可能なのです。

ポリコア専用割り込み

　これらの高水準な割り込み機能を14コア全てに適用するのは困難です。困難だし、そもそも14コア全てがセマフォなどの排他制御をこなした上でＩ/Oユニットにアクセスするプログラムなんて、複雑すぎて作りたくありません。ですよね？
　I/Oユニットからの割り込みを受け付けられるCPUは、1個か2個に限定して良いはずです。INTC322DVLはデュアルコア対応の割り込みコントローラなので、最大14個のCPUの内、最初の2個、CPU1とCPU2だけがINTC322DVLからの割り込みを受け、全機能を使用可能とします。
　その他のCPU3〜CPU14は、別途、ポリコア専用の割り込み(POLYC144ユニット、詳細は次節)を作って、その割り込み要因だけを受け付けられる様にしておきます(下図)。



　ポリコア専用割り込みだけを受けるCPU3〜CPU14は、割り込みレベルおよびベクタ割り込みには非対応とします。十分許容可能な仕様制限だと考えられます。

　なお、本節で議論した通り、今回のポリコア版では割り込みに関して対称ではありません。と言って、AMP(Asymmetric Multi-Processing)か？と言うと、そこまでの非対称性は無いので、どちらかと言うなら、SMP(Symmetric Multi-Processing)と言う事になるはずです。

ポリコア制御POLYC144ユニット

　ポリコア専用割り込みの他にも、共有リソースの管理を実施するセマフォなど、必要となる機能を1つのI/Oユニットにまとめて持たせようと思います。これをポリコア制御POLYC144ユニットと呼び、以下の様な機能を盛り込みます。

コア数を知りたい

　ポリコアは、4コア〜14コアまでのコンパイルオプションに対応します。プログラムを作成するに当たって、搭載されたコア数を動的に把握したいはずです。
　この要求に対応するため、搭載されたコア数を読み出し可能なレジスタを用意しておきたいと思います。

CPU間割り込み

　14個ものCPUコアに協調動作させるためには、互いのCPU間で通信しながらプログラムを実行する必要が生じます。
　特定の共有RAM領域に通信エリアを確保して、各CPUがポーリングするのも1つの解でしょう。しかし、ポーリングでは定期的に共有メモリへのアクセスが発生し、メモリバスのボトルネックによってパフォーマンスを落としてしまう恐れがあります。
　そこで、CPU間の割り込みにより、通信する機構が必要だと考えました。ポリコア(14コア)用のCPU間割り込みを用意しなくてはなりません。

ポリコア用セマフォ

　デュアルコア用に作成したセマフォSEMPH5R12Uユニットは、CPUコア数が2個であることが前提です。ポリコア版でも使えない事は無いのですが、全く機能が不足しています。よって、ポリコア(14コア)用のセマフォを作っておく必要があります。
　こちらも、セマフォの取得や返却に於いてバストラフィックを増加させない様、取得要求に待ち行列を作ったり、取得できた時に割り込みで知らせる機構を作り込んでおきます。

ブロック図

　ポリコア用の必要機能を統合した、ポリコア制御POLYC144ユニットを設計しました。以下にブロック図を示し、解説を続けます。



※薄黄色の箱はCPUからアクセス可能なI/Oレジスタです。

• pctlブロック：
• メモリバスインターフェイス。
• 全体制御。
• pintrブロック：
• ポリコア割り込み制御。
• ポリコア割り込みは、
• ポリコアCPU間割り込み(polyintr)と、
• ポリコアセマフォ割り込み(polysmph0〜3)から成る。
• ポリコア割り込みをCPU毎にマスクするpolyintmレジスタを有する。
• psmphブロック：
• ポリコアセマフォ制御。
• 4個(polysmph0〜3)のセマフォを使用可能。
• セマフォを取得したCPUに対して、割り込み要求が可能。

I/Oレジスタ仕様

　以下表にI/Oレジスタマップを示し、解説を続けます。

　BUSC出力のセレクト信号はbcs_poly_nです。上表の範囲でアサートされるので、POLYC144ユニット内では、アドレスbadr[3:0]を復号してレジスタを特定しています。このI/Oユニットはバイトアクセス禁止です。必ずワードアクセスしてください。

　　I/Oレジスタ仕様：

• polyctl：　制御レジスタ
• 初期値：　0x0000 (フラグ値、固定値は除く)
• SERRフラグ：　セマフォエラーフラグ
• polysmphレジスタのFIFOフルとなった時、1が立つフラグです。
• SERR＝1の間、ポリコアセマフォは動作を停止します。
• SERRフラグに1を書き込む事で、ポリコアセマフォをリセットすることができます。
• リセットすると、ポリコアセマフォ全体がリセットされます。
• 基本的には、SERRが発生しない様に使うのがソフトウェア側の責任です。
• PCIEビット：　ポリコアCPU間割り込み許可ビット
• polyintrレジスタによる、ポリコアCPU間割り込みを許可します。
• PSIEビット：　ポリコアセマフォ割り込み許可ビット
• ポリコアセマフォを取得したCPUに対して割り込みを要求する許可ビットです。
• NCPU[3:0]：　コア数フィールド
• 当該マイコンに搭載されたポリコアCPUのコア数(4〜14の偶数、固定値)を読み出すことができるフィールドです。
• 読み出し専用で書き込みできません。
• polyintr：　ポリコアCPU間割り込みレジスタ
• 初期値：　0x0000
• 読み出し：
• 現時点で、ポリコアCPU間割り込み要求の発生しているCPUに対応するビットに1が読み出せます。
• ビット1〜14がCPU1〜14に対応します。
• 書き込み：
• 1回の書き込みで、1個のCPUに対して割り込みを要求することができます。
• または、割り込み要求をクリアすることができます。
• CMD[3:0]＝0x1として、CID[3:0]にCPUのID番号(1〜14)を書き込むと、指定したCPUに対して割り込みが要求されます。
• CMD[3:0]＝0xeとして、CID[3:0]にCPUのID番号(1〜14)を書き込むと、指定したCPUの割り込み要求がクリアされます。
• polyintm：　ポリコア割り込みマスクレジスタ
• 初期値：　0x0000
• ポリコア割り込みをCPU毎にマスクするレジスタです。
• ポリコア割り込みは、ポリコアCPU間割り込みと、ポリコアセマフォ割り込みを含みます。
• ポリコア割り込み要求PIRQ[15:0]＝
• (〜polyintm[15:0])＆(
• PCIE＆polyintr[15:0]＋
• PSIE＆(
• (1<<polysmph0)＋
• (1<<polysmph1)＋
• (1<<polysmph2)＋
• (1<<polysmph3)))
• ※ただし、ビット15，0は無効、〜はビット毎論理否定NOT演算子、＋はビット毎論理和OR演算子。
• 読み出し：
• 現時点で、割り込みマスクされているCPUに対応するビットに1が読み出せます。
• ビット1〜14がCPU1〜14に対応します。
• 書き込み：
• 1回の書き込みで、1個のCPUに対する割り込みをマスクすることができます。
• または、割り込みマスクを消去することができます。
• CMD[3:0]＝0x1として、CID[3:0]にCPUのID番号(1〜14)を書き込むと、指定したCPUに対する割り込みがマスクされます。
• CMD[3:0]＝0xeとして、CID[3:0]にCPUのID番号(1〜14)を書き込むと、指定したCPUの割り込みマスクが消去されます。
• polysmph0〜3：　ポリコアセマフォレジスタ
• 初期値：　0x0000
• セマフォの取得／返却を制御するレジスタです。
• 読み出し：
• 現時点でセマフォを取得しているCPU ID(1〜14)が、CID[3:0]に読み出されます。
• CMD[3:0]には常に0が読み出されます。
• セマフォを取得しているCPUが無い場合、CID[3:0]からは0が読み出されます。
• CID[3:0]＝0の時には、セマフォを取得できる権利があります。
• CID[3:0]≠0の場合、そのCPUがセマフォを取得している状態なので、当該CPUがセマフォを返却するまで、他のCPUが取得する事はできません。
• 書き込み(セマフォ取得)：
• セマフォを取得したい場合、CMD[3:0]＝0x1、CID[3:0]に自身のCPU ID番号(1〜14)を書き込みます。
• この書き込みは待ち行列(FIFO)に積まれ、セマフォが取得できるまで保持されます。
• 一旦書き込んだら、セマフォが取得できるまで、同一CPUからの書き込みは禁止です。
• FIFOは16段用意していますが、1個のCPUが複数回書き込むと、FIFOフルとなってpolyctlレジスタのSERRフラグが立ちます。
• 書き込み(セマフォ返却)：
• セマフォを返却したい場合、CMD[3:0]＝0xe、CID[3:0]に現在セマフォを取得しているCPU ID番号(1〜14)を書き込みます。
• セマフォが返却されると、直ちに待ち行列(FIFO)から次のセマフォ取得要求を読み出して、次のCPUに所有権が移ります。
• 尚、セマフォの返却(CMD[3:0]＝0xe)に待ち行列は適応されず、直ちに書き込みが反映されます。
• 言い換えると、待ち行列(FIFO)内のセマフォ取得要求を、返却要求で打ち消すことはできません。

CPU1とCPU2の割り込み

　メインCPU(CPU1)とサブCPU(CPU2)は、通常の割り込みコントローラINTC322DVLと接続されていて、I/Oユニットからの割り込みを受けたり、ベクタ割り込み機能や割り込みレベルなどの高水準な割り込み処理が可能なCPUです。
　他のポリコアCPU(CPU3〜CPU14)と同様、ポリコアCPU間割り込みの対象でもあり、polyintrレジスタを使ったポリコアCPU間割り込みを受け付けることができます。ただし、CPU1とCPU2は、ポリコア制御POLYC144ユニットからのポリコアCPU間割り込みを、割り込みコントローラINTC322DVLが持つCPU間割り込みICR1，ICR2として受け取ります。
　従って、CPU1，CPU2に於いて、ICR1，ICR2割り込みを受け付けた場合、intcpuレジスタと、polyintrレジスタやpolysmphレジスタを確認して、ポリコアCPU間割り込みとの切り分けを実行する必要があることに注意してください。

　それ以外のポリコアCPU(CPU3〜CPU14)は、割り込みコントローラINTC322DVLからの割り込みを受け付けることができず、ポリコア専用割り込みだけを受け付け可能なので、polyintrレジスタおよびpolysmphレジスタだけを確認すれば、割り込み要因を特定できます。

セマフォ要求待ち行列

　POLYC144ユニットを含むI/Oユニットへのアクセスはメモリバス経由です。最大14個のCPUがバス権調停を経て、メモリバスにアクセスする事ができます。
　セマフォを取得するために、特定のレジスタをポーリングするような構成にしてしまうと、メモリバスのボトルネックによって、ポーリングだけでバスサイクルが溢れてしまう事が予想されます。

　　バスボトルネック対策：

• １）polysmphレジスタへの書き込みに待ち行列(FIFO)を適応。
• 当該セマフォが返却され、所有権を持つCPUが無くなると、待ち行列(FIFO)から次のセマフォ取得要求を取り出し、そのCPUに所有権を付与する。
• 当該セマフォが他のCPUに占有されている間、FIFO内の要求は、そのまま保持されて待たされる。
• ２）セマフォ取得要求が成立した時、ポリコアセマフォ割り込みによって、CPUに通知。

　上の対策二点によって、ポーリングせずにセマフォの取得を実行することができ、メモリバスのトラフィックを減らすことができるでしょう。
　同じCPUが同じセマフォに対して、セマフォ取得を2回以上連続して要求する必要は無いので、FIFOはCPUのコア数以上あれば十分なはずです。今回、POLYC144ユニットでは最大コア数が14個なので、2冪数で16段FIFOとしてあります。

　同じCPUが、同じセマフォに対して、同時に二回以上の取得要求を出すと、FIFOフルとなってエラーが発生する場合があります。エラーが発生すると、polyctlレジスタのSERRフラグに1が立って、ポリコアセマフォが動作を停止します。
　SERRビットが経つと、ポリコアセマフォをリセットするしか手が無くなってしまうので、エラーが発生しない様に使うのは、ソフトウェア(ユーザプログラム)側の責任です。


　周辺回路の設計も終わりましたので、次回は全体を組み上げて、ポリコア版Moscoviumマイコンを実現してみます。