公開日：2021/07/24

17th Season

#17-2　双頭の狼(knee)

　前回から引き続き、Moscoviumをデュアルコア化して行きます。今回は割り込みコントローラと、セマフォの実現を支援するI/Oユニットを設計します。

割り込みコントローラ(INTC)

　割り込みコントローラINTCはCPUが2個になったことで、各I/Oユニットから出力される割り込み要因を、どちらのCPUに振り分けるか？制御しなくてはなりません。1本の割り込み要因を2個のCPUに同時に要求すると、要因のクリア時、必ず問題が発生するためです。

　この制御は、既にINTC162に備わっている割り込みマスクレジスタintmskを使って解決しようと思います(下図)。



　上図は各I/Oユニットで発生した割り込み要因が、3つのゲートをくぐって漸くCPUに割り込みとして受け付けられることを解説した図となります。intmskレジスタは上から2つ目の箱にあるINTCの割り込みマスクビットを指しています。
　intmskレジスタをCPU毎に2個持っておいて、CPU毎に異なる割り込みマスクビットを設定できるようにします。こうすると、各CPUが自分が受け付けるべき割り込み要因だけを通して、自分が処理しない割り込み要因をマスクすることで、適切に割り込み要因を各CPUへ振り分けることが可能となります。

　以下図に割り込み要因(intfct)から割り込み要求(irq，irq2)へ振り分ける割り込みトポロジを示します。



　CPU1用のintmsk1レジスタと、CPU2用のintmsk2レジスタは、同じI/Oアドレスに割り付けておき、INTC内部でBUSCからのbmst信号(新設)を判定して切り替えてアクセスさせます。

CPU間割り込み

　2個のCPUはメモリバスを通して、同じメモリ(RAM等)にアクセス可能なので、ソフトウェアでCPU間の通信に使用するRAMアドレスの取り決めをしておけば、いくらでも相互通信は可能となります。
　ただ、このような方法だと、CPUが特定のRAMアドレスを定期的にポーリングする必要があり、タイムリにあるいはリアルタイムに処理する必要のあるイベントに対処し難いという欠点があります。

　そこで、一方のCPUから他方のCPUへ割り込みを要求することが出来るような機構をINTCに持たせておこうと思います。

　後ほど、デュアルコア用に拡張した割り込みコントローラのI/Oレジスタ一覧で確認して下さい。

デュアルコア版割り込みコントローラ

　前節のCPU間割り込みもそうですが、この後で追加するI/Oユニットでも割り込みを発生する必要が生じます。16本の割り込み要因しか処理できないINTC162では足りなくなってきたので、要因数を×2倍の32本に拡張して、INTC322Dとします。



※薄黄色の箱はCPUからアクセス可能なI/Oレジスタです。二重になっているプライオリティエンコーダpencブロック、intmskレジスタなどの箱は、CPU毎に2組の回路が存在することを示しています。CPU毎のレジスタ選択は、メモリバスのbmst信号で切り分けます。


　INTC322DのI/Oレジスタ一覧を以下表に示して、各レジスタの説明を続けます。

　BUSC出力のセレクト信号はbcs_intc_nです。上表の範囲でアサートされるので、INTCユニット内では、アドレスbadr[3:0]を復号してレジスタを特定しています。このI/Oユニットはバイトアクセス禁止です。必ずワードアクセスしてください。

• intnum：　割り込み番号レジスタ
• intnumレジスタは、INTC内部でCPU毎に2個のレジスタ(intnum1，intnum2)が存在しており、BUSCからのbmst信号によって、各々のCPUに対応するレジスタにアクセスされます。
• 下位7ビットから、現在割り込み要求の出ている割り込み要因の中で、一番小さな割り込み番号×2が読み出されます。
• 読み出し専用です。同じアドレスにintofsレジスタが割り当てられているので、書き込むとintofsレジスタへの書き込みとなります。
• 割り込み番号：
• 1＝CPU間割り込み(ICR1、CPU2→CPU1)
• 2＝CPU間割り込み(ICR2、CPU1→CPU2)
• 3＝外部端子割り込み0(EIR0)
• 4＝外部端子割り込み1(EIR1)
• 5＝同期二線式シリアルスレーブ受信割り込み(SRAR)
• 6＝同期二線式シリアルスレーブ送信可能割り込み(STAR)
• 7＝同期二線式シリアルマスタ受信割り込み(MRAR)
• 8＝同期二線式シリアルマスタ送信終了割り込み(MTER)
• 9＝未定義
• 10＝汎用16ビットタイマ0コンペアマッチB割り込み(CMBR0)
• 11＝タイマ0コンペアマッチA割り込み(CMAR0)
• 12＝タイマ0オーバフロウ割り込み(OVFR0)
• 13＝未定義
• 14＝タイマ1コンペアマッチB割り込み(CMBR1)
• 15＝タイマ1コンペアマッチA割り込み(CMAR1)
• 16＝タイマ1オーバフロウ割り込み(OVFR1)
• 17〜21＝未定義
• 22＝LED PWMタイマオーバフロウ割り込み(LOFR)
• 23＝RTC割り込み(RTCR)
• 24＝AD変換終了割り込み(CENR)
• 25＝ユーザセマフォ変化割り込み(SMUR1、→CPU1)
• 26＝RAMセマフォ変化割り込み(SMRR1、→CPU1)
• 27＝CPU間相互通信FIFO転送可能割り込み(FTAR1、→CPU1)
• 28＝CPU間相互通信FIFO受信可能割り込み(FRAR1、→CPU1)
• 29＝ユーザセマフォ変化割り込み(SMUR2、→CPU2)
• 30＝RAMセマフォ変化割り込み(SMRR2、→CPU2)
• 31＝CPU間相互通信FIFO転送可能割り込み(FTAR2、→CPU2)
• 32＝CPU間相互通信FIFO受信可能割り込み(FRAR2、→CPU2)
• ※intfctレジスタに割り当てられた割り込み要因のビット番号＋1と一致させています。
• intnumレジスタから読み出される値は、intnum＝intofs＋2×<割り込み番号>となります。
• <割り込み番号>は、その時点で割り込み要因がアサートされている割り込み番号の中で、一番小さい番号です。
• その時点で割り込み要求が無かった場合は、<割り込み番号>＝0です。
• intofs：　オフセットレジスタ
• 初期値：　0x0000
• intofsレジスタは、INTC内部でCPU毎に2個のレジスタ(intofs1，intofs2)が存在しており、BUSCからのbmst信号によって、各々のCPUに対応するレジスタにアクセスされます。
• 書き込み専用です。同じアドレスにintnumレジスタが割り当てられているので、読み出すとintnumレジスタからの読み出しとなります。
• intnumレジスタを読み出す際の、割り込み番号へのオフセット値を設定するレジスタです。詳しくは、intnumレジスタの説明を参照してください。
• intext：　外部端子割り込み制御レジスタ
• 初期値：　0x0000　(フラグ値は除く)
• 外部端子(intc_int0，intc_int1)からの割り込み要求を制御します。
• EIFx：　外部端子割り込みフラグビット
• トリガフィールドEITxで指定されたトリガ条件が成立すると、1が読み出されます。
• 本ビットへの1書き込みでフラグはクリアされます。フラグをクリアしたくない場合には、0を書き込んでください。
• フラグが自動的にクリアされることはありません。
• EIEx：　外部端子割り込み許可ビット
• EIFx＝1の状態で、EIEx＝1となると、CPUに対して割り込み要因EIRxをアサートします。
• EIRx＝EIEx＆EIFxです。
• EITx[1:0]：　外部端子割り込みトリガフィールド
• EITx＝2'b00：　Low Level
• EITx＝2'b01：　Falling Edge
• EITx＝2'b10：　Rising Edge
• EITx＝2'b11：　Both Edge
• intcpu：　CPU間割り込み制御レジスタ
• 初期値：　0x0000　(フラグ値は除く)
• CPU間割り込み要求を制御します。
• intcpuレジスタは、INTC内部でCPU毎に2個のレジスタ(intcpu1，intcpu2)が存在しており、BUSCからのbmst信号によって、各々のCPUに対応するレジスタにアクセスされます。
• 以後、こちらのCPU IDをA(a)、他方のCPU IDをB(b)として、intcpuAレジスタ、ICFaフラグ等と表記します。
• A，B＝1または2で、A≠Bです。
• ICF：　CPU間割り込みフラグ
• もう一方のCPUがintcpuBレジスタのICRQbビット＝1を書き込むと、ICFa＝1が立ちます。
• 本ビットへの1書き込みでフラグはクリアされます。フラグをクリアしたくない場合には、0を書き込んでください。
• フラグが自動的にクリアされることはありません。
• ICE：　CPU間割り込み許可ビット
• ICEa＝1の状態で、ICFa＝1となると、CPUに対して割り込み要因ICRaをアサートします。
• 割り込み要因ICRa＝ICEa＆ICFaです。
• ICRQ：　CPU間割り込み要求ビット
• こちらのCPUから、もう一方のCPUへ割り込みを要求するには、ICRQaビットに1を書き込みます。
• ICRQaビットは直ちにリセットされるので、このビットから1を読み出すことはありません。
• ICRQa＝1書き込みによって、もう一方のCPU用intcpuBレジスタのICFbフラグが1にセットされ、相手のCPUに割り込みを要求することが出来ます。
• 一度要求した割り込みは、こちらからキャンセルすることはできません。
• intctl：　割り込み制御レジスタ
• 初期値：　0x0000
• 割り込み機能を制御します。
• LEVE：　割り込みレベル許可ビット
• LEVE＝0：　割り込みレベル無効です。
• intmsk，intmskhレジスタを使って、割り込みをマスクすることができるモードです。
• 何らかの割り込みが受け付けられてCPUが処理している間、他の割り込みが多重に受け付けられることはありません。
• LEVE＝1：　割り込みレベル有効です。
• intlev0〜3レジスタを使って、割り込み要因毎に割り込みレベルを指定可能なモードです。
• 割り込みが受け付けられてCPUが処理中でも、より高いレベルの割り込みが発生すると、多重に割り込みがかかります。詳しくは「#23-2　割り込み機能を強化する」を参照してください。
• LEVEビットの設定によって、割り込みコントローラの挙動は大きく変わるため、プログラム起動後の初期設定でLEVEビットを設定したら、その後設定を変更せずに使うことを推奨します。
• intfct，intfcth：　割り込み要因レジスタ
• 各I/Oユニットからの割り込み要求が一元管理されているレジスタです。
• 割り込み要求のアサートされた要因ビットから1が読み出されます。
• このレジスタから読み出されるビット値には、intmsk，intmskhレジスタによる割り込みマスクは反映されていません。
• intmsk，intmskh：　割り込みマスクレジスタ
• 初期値：　0x0000
• intmsk，intmskhレジスタは、INTC内部でCPU毎に2組のレジスタ(intmsk1＆intmskh1，intmsk2＆intmskh2)が存在しており、BUSCからのbmst信号によって、各々のCPUに対応するレジスタにアクセスされます。
• intmsk，intmskhレジスタの各ビットは、intfct，intfcthレジスタの各ビットと対応しています。
• このレジスタに1が書き込まれたビット位置に対応する割り込み要因からの割り込み要求は、マスクされてCPUへの割り込み要求から除外されます。
• 初期値は0x0000ですので、本レジスタを設定しない限り、全ての割り込み要求はCPUに対して割り込み要求をアサートします。
• I/Oユニットの設定を変更せずに、特定の割り込み要因だけを優先して受け付けたい場合などに使用可能です。
• デュアルコア版で、CPU毎にどの割り込み要因を受け付け、どの割り込み要因をマスクするかの制御にも使用します。
• CPUへの割り込み要求信号irq＝( ({ intfcth，intfct }&(~{ intmskh，intmsk }))！＝32'h0 )です。
• intctlレジスタのLEVEビット＝0の間は、本レジスタにアクセスできません。
• intmskレジスタの各ビットは、intlev0〜3レジスタの対応するフィールドの上位1ビットと物理的に同じものです。
• LEVEビットによってモードを切り替えた際にはご注意ください。

　「→CPU1」、「→CPU2」等として行き先の決まっている割り込み要因もありますが、INTCから見ると同じ割り込み要因の1つに過ぎず、どちらのCPUに割り込み要求すべき要因か知りません。即ち、各CPUでintmsk，intmskhレジスタを設定して、自分が受け付けたい割り込み要因だけを許可、それ以外の要因をマスクしないと、要因(フラグ)をクリアできない割り込みを受け付けてしまい、デッドロックする場合があります。

I/Oユニット

　CPUのデュアルコア化に必要な機能はBUSC，INTC等が対応して吸収したため、その他のI/Oユニットに関しては今までのシングルコア版で設計したユニットをそのまま流用可能です。
　回路の設計的には2個のCPUからアクセスが可能、なのですが、本当に2個のCPUからアクセスしてしまって良いのでしょうか？


　汎用I/OポートPORT8I8Oユニットの様なI/Oユニットは、例えば、出力ポートの7〜4ビットをCPU1が、3〜0ビットをCPU2が制御する、等の切り分けは可能です。
　仮に、第5ビット目をCPU1，CPU2から共有して制御するケースがあったとしても、PORT8I8Oには、出力ポートを1にセットするporsetレジスタと、0にクリアするporclrレジスタが有って、リード-モディファイ-ライト無しで制御可能なレジスタを備えているので、特に問題なく使用可能でしょう。

※リード-モディファイ-ライトアクセスが必要となる様なI/Oレジスタは、デュアルコアシステムでは同時アクセス禁止です。リード-モディファイ-ライトアクセスの間で他方のCPUが同じレジスタにアクセスしてしまうと、確実に誤動作を引き起こすためです(RAMであっても同様)。
※デュアルコア版Moscoviumのプログラミングで、リード-モディファイ-ライトアクセスが必要になった時には、2個のCPUからアクセスしていないことを確認しましょう。


　では、UART8N1はどうでしょうか？
　CPU1が9,600baud、CPU2が115,200baudに設定して、各々、別な相手と通信したいと思ったところで、UART8N1ユニットは1個しか搭載していないので、同時使用は不可です。
　例え通信相手が同じで通信速度を合わせたとしても、2個のCPUが各々勝手に受信レジスタuartrecvにアクセスしてしまうと、「CPU1が1，2，5，7バイト目を読み出して、CPU2が2，3，6，8バイト目を読み出す」なんてことが起きてしまいます。

　つまるところ、回路としては2個のCPUからのアクセスは可能だけど、本当に2個のCPUが同時に使うのは、シングルコアの時に作ったほとんどのI/OユニットではNGとなります。

　解決策の1つとしては、ソフトウェアでどちらのCPUがどのI/Oユニットを使うのか、予め取り決めておくことです。
　予め取り決めておくことができず、I/Oユニットを使用するCPUのIDを動的に変更したい場合、セマフォを構成して、排他的に使用権をやり取りする機構が必要となります。次はセマフォについて考えてみましょう。

セマフォ

　英語のセマフォ(semaphore)は、手旗信号など視覚的に信号を伝える手段を指すみたいです。並列コンピューティングの用語では、共有リソースに対するリソース(資源)の管理を指します。

　　リソース管理の例）

• レンタルサイクルが3台ある。
• 一人が近くのスーパマーケットに行くため、1台借りた。(残数は2台)
• 二人が出張で近くの駅に急ぐため、2台借りた。(残数は0台)
• 一人が市役所に行きたかったのだけど、自転車は全て貸し出し中で、借りられない。
• そうこうしているうちに、スーパマーケットに行っていた1台が返ってきた。(残数は1台)
• 待っていた一人が市役所に行くため借りて、また、残数はゼロ。
• 等と言った、リソースの管理をセマフォという。

　これを複数CPUコアの間で実現するためには、アトミックにテスト-アンド-セットできる機構が必要となります。

　　セマフォの具体的実装：

• 今相手が使っているかどうか調べる(テスト)、使っていたら(フラグ≠0だったら)諦める。
• 使っていなかったら(フラグ＝0だったら)、「僕が使うよ」と、宣言する(セット、フラグ＝1(自分のID)とする)。
• テストとセットの間で、相手がセットしてくるとまずいので、テストとセットはアトミックに実行される必要がある。
• アトミックとは？atomic＝「原子の」
• 原子は物質を構成する最小単位で、「それ以上小さく分解できない」が、アトミックの意味。
• テストとセットの間で分解できない、テストとセットの間で他のCPUに干渉されない。
• そのような命令をCPUが持っている場合もある。

　Moscoviumでは、1命令でテストとセットを実行したとしても、2つのバスサイクル(テストサイクル，セットサイクル)間に他のCPUアクセスが挟まってしまうため、アトミックに実行できません。
　これを実現するには、CPU命令の追加だけでは不足で、バスアービトレーション(バス権調停)などの機構を作り込む必要があります。ラウンドロビンで、交互にバスアクセスが発生する今回のBUSC仕様では、実現できません。
　そこで、この様な機構を持ったI/Oユニットを作り、リソース管理を実現しようと思います。

セマフォユニットSEMPH5R12U

　前節で示したレンタルサイクルの例の様に、本来はリソースの最大数Nが有って、あるCPUが「使うよ」と宣言すると、リソースの残数が1減って行くような管理となります。しかし、今回はデュアルコアCPUなので、状態としては以下の2通りしかありません。

• １）両方のCPUが共有使用可能。
• ２）一方のCPUが占有使用する。他方のCPUは使用禁止。

　一方が占有使用すると他方は使えない、ただそれだけですね。リソースの管理は、１）と２）の間を行ったり来たりするだけです。そこで、２）の状態を、「一方のCPUが占有使用権を取得した🔒」、１）の状態に移行する(戻る)ことを「占有使用権を解放した🔓」と表現することとします。


　セマフォによるリソース管理を補助するI/Oユニット(SEMPH5R12U)は、以下の様なブロック図となります。



※薄黄色の箱はCPUからアクセス可能なI/Oレジスタです。二重になっている箱は、CPU毎に2組の回路が存在することを示しています。CPU毎のレジスタ選択は、メモリバスのbmst信号で切り分けます。


　以下、I/Oレジスタ一覧と、レジスタの説明です。

　BUSC出力のセレクト信号はbcs_smph_nです。上表の範囲でアサートされるので、SEMPH5R12Uユニット内では、アドレスbadr[3:0]を復号してレジスタを特定しています。このI/Oユニットはバイトアクセス禁止です。必ずワードアクセスしてください。

• smphctl：　セマフォ制御レジスタ
• 初期値：　0x0000　(フラグ値は除く)
• 相手のCPUがセマフォレジスタの状態を変化させた時に発生する割り込み要因を制御します。
• 本レジスタは、CPU毎に別な実態を持っています。
• CPU1からアクセスできるsmphctl1レジスタのフラグやビット名はSMRF1，SMRE1などとなります。
• CPU2からアクセスできるsmphctl2レジスタのフラグやビット名はSMRF2，SMRE2などとなります。
• SMRF：　RAMセマフォ変化フラグ
• 相手のCPUがRAMセマフォ(smphrama，smphrambレジスタ)の状態を変化させた時に、SMRF＝1となります。
• SMRF＝1を書き込むと、フラグをクリアすることが出来ます。
• フラグをクリアしたくない場合には、SMRF＝0を書き込んでください。
• SMUF：　USERセマフォ変化フラグ
• 相手のCPUがUSERセマフォ(smphusra〜smphusrcレジスタ)の状態を変化させた時に、SMUF＝1となります。
• SMUF＝1を書き込むと、フラグをクリアすることが出来ます。
• フラグをクリアしたくない場合には、SMUF＝0を書き込んでください。
• SMRE：　RAMセマフォ変化割り込み許可ビット
• SMRE＝1の時にSMRF＝1となると、CPUに対してSMRR割り込み要因が発生します。
• SMRR＝SMRE＆SMRFです。
• SMUE：　USERセマフォ変化割り込み許可ビット
• SMUE＝1の時にSMUF＝1となると、CPUに対してSMUR割り込み要因が発生します。
• SMUR＝SMUE＆SMUFです。
• smphrama，smphramb：　RAMセマフォレジスタ
• 初期値：　0x0000
• RAM領域0x5000〜0xf000を8Kバイト(0x2000)毎に区切って、RAM0〜RAM4領域とします。
• RAM0〜RAM4領域は、本レジスタのsemr0〜semr4フィールドに対応しており、初期値semrx＝0の場合には、RAMx領域はCPU1，CPU2両方からアクセスが可能です。
• semrx＝1を書き込むと、CPU1が占有使用権を取得した状態となります。
• RAMx領域はCPU1からはアクセス可能ですが、CPU2からはアクセスできなくなります。
• semrx＝2を書き込むと、CPU2が占有使用権を取得した状態となります。
• RAMx領域はCPU2からはアクセス可能ですが、CPU1からはアクセスできなくなります。
• semrx＝3を書き込むと、占有使用権を解放してsemrx＝0に戻ります。
• 使用権を変更したくないフィールドにはsemrx＝0を書き込んでください。
• 相手のCPUに占有使用権を取得されたRAMx領域に対する書き込みは無効となり、読み出しは常にゼロ(0x0000)となります。
• CPU1からは、
• semrx＝0の時にsemrx＝1(自分のID＝1)書き込み、
• semrx＝1(自分のID＝1)の時にsemrx＝3(解放)書き込み、
• だけが可能です。それ以外の書き込みでは、状態は変化しません。
• CPU2からは、
• semrx＝0の時にsemrx＝2(自分のID＝2)書き込み、
• semrx＝2(自分のID＝2)の時にsemrx＝3(解放)書き込み、
• だけが可能です。それ以外の書き込みでは、状態は変化しません。
• 各CPUが特定のRAMx領域に対する占有使用権を取得するには、対応するsemrxフィールドに、自分のCPU IDを書き込みます。
• 1サイクルでも早く、占有使用権を取得しようとしたCPUに占有使用権が与えられます。
• 自分のCPU IDを書いたつもりでも、一瞬早く相手のCPUが占有使用権を取得してしまうと、本レジスタからは、相手のCPU IDが読み出せます。
• 従って、以下の様にして占有使用権を要求したら、必ずレジスタを読み出し直して、自分のIDが読み出せることを確認して下さい。
• // CPU1が占有使用権を要求する場合
  ldbiu　r0,smph_sem0_1　　// CPU1なので、1を書き込む
  ldwi　r7,smphrama
  stw　[r7],r0　　// 占有使用権要求
  ldw　r1,[r7]　　// 確認のため再読み出し
  andi　r1,smph_sem0_3
  cmp　r1,r0
  beq　got_occupation　　// 占有使用権を取得できた
  bne　not_got　　// 占有使用権の取得に失敗した。
  
• 占有使用権の取得に失敗した場合には、相手のCPUが占有使用権を解放する(semrx＝0となる)まで、待たなくてはなりません。
• smphusra〜smphusrc：　USERセマフォレジスタ
• 初期値：　0x0000
• ユーザが自由に割り当て可能なセマフォフィールドが、1レジスタ当たり4個の合計12個(semu0〜semu11)存在します。
• ソフトウェアで自由にリソースを割り当てて使用可能です。
• RAMセマフォと異なり、単なる占有使用権の状態を示すレジスタです。
• ハードウェア的にアクセスできなくなるI/Oユニットが有ったりするわけではありません。
• ソフトウェアであらかじめ取り決めて、自由に使用可能です。
• 占有使用権の取得・解放方法についてはsmphramxレジスタの説明をご覧ください。

　実際、本格的なOSを作ったりとかしない限り、セマフォは必須ではありません。小規模なアプリケーションであれば、予め「UARTはCPU1が使う、各CPUのRAMの使用領域はxxx」等と取り決めておけば済むことです。
　あまり難しく考える必要はありませんが、「2個のCPUから有限のリソースを使う以上、リソース管理は必要になる」と言う事だけは頭の隅っこに入れておいて下さい。そして、何かの折に「セマフォユニットがあったね」と、思い出して、活用していただけたら良いと思います。


　セマフォですけど、I/Oユニットに頼らずに実現できた方が応用が利くのですが、CPUとBUSCに結構大変な修正が必要で、検討すべきことも山積みだったため、ちょっと楽な道に迂回してしまいました。次回、もうひと踏ん張りして、シミュレーション検証と実機(FPGAボード)検証まで済ませたいと思います。