DSP与ARM通信的奇怪问题

wwfdzh2012

9 Z  x9 S8 B! Z# Z

项目要求DSP不跑操作系统，arm核上linux3.3，在做双核通信的linux设备驱动时候遇到了一个诡异的问题，只要DSP通过CHIPSIG_INT0触发ARM中断，ARM中的linux内核的其他很多驱动都停止了工作，连自己的led控制驱动都失去了响应，流水灯也失去了闪烁，LCD显示也停止了刷新，但是运行GUI还是可以显示界面，就是界面不能刷新，触摸屏也不懂了。好像是其他驱动都阻塞了！！！！

我的linux设备驱动是这样实现的：使用Tasklet实现软中断，只要DSP的数据一准备好就通过CHIPSIG_INT0触发ARM中断，这时候驱动的tasklet顶半部会立刻响应中断去读取数据，然后调度tasklet的底半部，这样的流程一般是没问题才对，但是现象就是只要顶半部被触发了，其他驱动就异常了，linux也没有任何提示，而且无法恢复，触发重启内核，但是唯独这个驱动完全正常运行，数据照样读取也不丢帧，还有一个现象是DSP触发一次CHIPSIG_INT0中断，ARM核会响应两次，也就是顶半部会触发两次调用！！我的驱动实现如下，麻烦帮忙看下。

1. //头文件省略
   
2. 
     H, a2 m1 F' c2 E) I3 D' ]
3. //引入其他模块函数和变量
   / k& N: F% Q: l+ V  x+ u
4. extern Ping_Pong_Buffer res_buff;
   
5. 
   
6. extern char k_linkQueue_create(linkQueue *queue, unsigned int dataType, unsigned int blockNumber, unsigned int blockSize);//创建链队列
   
7. extern void k_linkQueue_release(linkQueue *queue);//释放链队列
   
8. extern unsigned int k_linkQueue_insertData(linkQueue *queue, void *data, int force);//链队列插入数据
   
9. extern unsigned int k_linkQueue_getData(linkQueue *queue, void *r_buff);//获取队列的数据
   ( i4 [/ ^( B4 ^. B: m$ T& o
10. 
    0 S7 q  A* i2 y# I
11. extern void SHM_ARM_Init(unsigned char* const mem_base);//共享内存初始化
    
12. 
    ( \4 K7 v% V" e
13. static int read_quest = 0;//如果有读取数据请求且链队列无数据可读，则置1
    + I$ ^$ M' @; K  g  _
14. //设置主从设备号
    
15. #define PROTOCOL_MAJOR      1
    
16. #define PROTOCOL_MINOR      0
    
17. 
    
18. 
    # p7 ^5 v! A8 K2 a
19. 
    
20. //定义设备驱动的名字或设备节点的名字
    
21. #define     DEVICE_NAME         "protocol_driver"
    
22. 
    ) B5 C5 V' o, U3 U* }
23. 
    ) W* E9 J* Q1 K1 o4 |. j
24. //定义全局的循环队列作为数据缓冲区
    4 a  @. X: p0 p+ R
25. k_linkQueue queue;
    9 e+ p: z" t: U# S7 \
26. 
    
27. //寄存器地址映射全局变量
    9 K2 I; G+ v! T: C7 U3 u7 r
28. unsigned int *R_CHIPSIG = NULL;//CHIPSIG寄存器
    
29. unsigned int *R_CHIPSIG_CLR = NULL;//CHIPSIG_CLR寄存器
    
30. 
    
31. //物理内存映射全局变量
    
32. volatile void *mem_base = NULL;
    
33. volatile unsigned char *cur_buf_ptr = NULL;
    
34. volatile unsigned char *data_ready_ptr = NULL;
    ( w3 m2 R7 ^$ G5 Z
35. 
    0 q0 }5 w$ [" b& P( m
36. 
    2 J3 H* F8 V9 w- R3 A6 X$ i+ T9 N3 R
37. 
    " g1 R( Z9 ~' h! l
38. //定义读数据等待队列头，IO阻塞
    ; @+ s. r, W' A/ ]8 D4 w, X0 F
39. DECLARE_WAIT_QUEUE_HEAD(wait_queue_head);
    
40. 
    
41. //定义原子变量
    
42. static atomic_t dev_available = ATOMIC_INIT(1);//原子变量的值为1,即只能一个进程打开此设备
    ) ~: @9 l8 W5 l# @. O- o0 O! n
43. 
    4 }. a% E+ k. s0 k0 T5 c
44. 
    8 n- N$ s/ X4 N1 Q* f+ ]+ w" z
45. //定义设备类
    ( G1 j& c5 @- O
46. static struct class *protocol_class;
    ) S  [7 G6 O2 f5 E1 V4 q
47. struct cdev *protocol_cdev;
    . n8 `8 }8 |5 b% K: A% h
48. dev_t protocol_dev_no;
    
49. 
    % i3 J0 Y) b% h
50. /*定义tasklet和声明底半部函数并关联*/
    ) L) Y- j. B- v
51. void read_data_tasklet(unsigned long);
    3 f- ~, l" e- G9 P+ I
52. 
    6 n9 F. s! M* z
53. DECLARE_TASKLET(CHIPINT0_tasklet,read_data,0);
      C) s. `1 ~. B/ C
54. //将CHIPINT0_tasklet与read_data绑定，传入参数0
    
55. 
    
56. /*中断处理底半部, 拷贝内存*/
    
57. void read_data(unsigned long a)
    4 N" I; e6 M' C4 e" U
58. {
    
59.     if(read_quest == 1)//如果进程调用了此驱动的read函数且链队列没有数据可读，read_quest将会被赋值为1
    
60.     {
    
61.         read_quest = 0;
    
62.         wake_up_interruptible(&wait_queue_head);//唤醒读等待队列
    0 D- ~4 P. ]9 R* D$ e4 L+ c6 I
63.     }
    2 U6 m/ W6 u( G( L) q
64. 
    
65. }
    / A2 x) q' {7 S' Y' X+ _; }
66. 
    
67. /*中断处理顶半部*/
    0 J* [( r/ }% l- r
68. irqreturn_t CHIPINT0_interrupt(int irq,void *dev_id)
    
69. {
    
70.     //只要一触发进入这个程序，其他驱动会出问题，即使这个程序什么都不做也会这样
    5 b3 k& J/ s/ H8 T/ h0 ^: O
71.     volatile Buffer_Type *next_read;
    
72.     //如果DSP数据已经ready
    * f0 k0 `3 e' q8 f6 y
73.     if(*(res_buff.cur_buffer->data_ready) == 1)
    $ v, ^% z1 h- E; d
74.     {
    ' [9 b6 e) Z/ j/ r5 Z* C
75.         if(*(res_buff.bufferID_ptr) == BUFF_ID_PING)//切换读buffer
    7 j6 x, _5 |: ]" u; D; T" j0 u
76.         {
    
77.             next_read = &res_buff.pong_buffer;//下一次中断读pong buffer
    ; E1 ^  W0 K6 G3 P9 |" {" ]6 G
78.             //printk(KERN_ALERT"read ping\n");
    5 {1 ~" Q7 I8 S# Q" g
79.         }
    $ m, M. l8 M* p% x% D" ?$ {
80.         else
    5 W& p- x& e0 }3 O( E  S8 q
81.         {
    
82.             next_read = &res_buff.ping_buffer;//下一次中断读ping buffer
    
83.             //printk(KERN_ALERT"read pong\n");
    
84.         }
    ; m; |3 L; S' A8 V! G# e
85.         *(res_buff.bufferID_ptr) ^= BUFF_ID_PING;//切换DSP写另一个buffer
    
86.         //将数据插入链队列
    
87.         k_linkQueue_insertData(&queue, res_buff.cur_buffer->buf_ptr, 0);
    
88.         //标识位都重置
    
89.         *(res_buff.cur_buffer->data_ready) = 0;
    3 G" Q, r1 [) R- w& r
90.         *(res_buff.cur_buffer->data_size) = 0;
    1 D# g7 ^' X* j8 G6 Z
91.         res_buff.cur_buffer = next_read;
    
92.     }
    # Y  ?6 G5 H5 ?! c6 i6 g
93.     //清楚中断标识
    
94.     *R_CHIPSIG_CLR = 1 << 0;//clear chipint0 status
    
95.     tasklet_schedule(&CHIPINT0_tasklet);//调度底半部     
    
96. 
    
97. 
    
98.     return IRQ_HANDLED;
    4 I& Y5 U. d  b
99. 
    ; l! n6 R, o' m% E7 N
100. }
     
101. 
     % `6 |0 J% U" J8 y
102. //文件打开函数
     0 G. y1 ?% l3 C1 Z/ R9 R0 J; o7 t
103. static int protocol_open(struct inode *inode, struct file *file)
     , J& H$ M* |- T+ N: U6 |& C+ z
104. {
     * l3 m5 q3 L) h0 e
105.     int result = 0;
     
106.     if(!atomic_dec_and_test(&dev_available))
     ( O7 M) @/ s* b
107.     {
     7 K* i7 v$ T* k$ a3 U
108.         atomic_inc(&dev_available);
     * L3 W7 M: [/ s% a
109.         return -EBUSY;//设备已经被打开
     
110.     }
     
111.     printk (KERN_ALERT "\nprotrol driver open\n");
     ( V7 R7 h6 x8 O# ]; e! [# `) g/ w. j8 H
112.     return 0;
     
113. }
     # [7 m  h( J3 B! K1 R6 _8 w3 x
114. 
     
115. //文件释放函数
     
116. static int protocol_release(struct inode *inode, struct file *filp)
     ! }. ?. m- t5 F: e' j: i( X+ N
117. {
     4 Q) A6 k5 `1 w$ V; y6 i+ _& ]4 \
118.     atomic_inc(&dev_available);//释放设备，原子变量加1
     
119.     printk (KERN_ALERT "device released\n");
     
120.     return 0;
     
121. }
     
122. 
     - z! w9 `5 I: a  T/ B  q' {
123. //文件读函数
     
124. static int protocol_read(struct file *filp, char *dst, size_t size, loff_t*offset)
     
125. {
     
126.     int ret = 0;
     
127.     //定义等待队列
     
128.     DECLARE_WAITQUEUE(wait_queue, current);//定义等待队列
     
129.     add_wait_queue(&wait_queue_head, &wait_queue);//添加等待队列
     * _# c) m. @9 F' F
130.     if(queue.remainNumber == queue.blockNumber)//当前buffer没数据
     # @% Z) E0 i, h' Z* X
131.     {
     9 @! w$ {* b+ z5 h# t6 L
132.         //printk(KERN_ALERT"\nbuffer no data\n");
     
133.         //如果是非阻塞方式读取，则直接跳出
     
134.         if(filp->f_flags & O_NONBLOCK)
     
135.         {
     
136.             ret = -EAGAIN;
     
137.             goto out;
     + d: _# J; a! k: ]* i
138.         }
     
139.         //阻塞当前进程，放弃cpu资源
     
140.         read_quest = 1;
     & G0 Z3 U0 ]3 y0 h( c+ x+ M0 G2 J5 p
141.         __set_current_state(TASK_INTERRUPTIBLE);//改变进程状态为睡眠
     7 N1 X: H) i1 J6 {. G% R6 s
142.         schedule();//调度其他进程运行
     
143.         if(signal_pending(current))
     
144.         {
     2 y/ P) K$ o! Q+ t% f- V
145.             //如果是因为信号被唤醒，则返回到系统调用之前的地方
     
146.             ret = -ERESTARTSYS;
     
147.             goto out;
     
148.         }
     # _% g+ I( A+ v
149.     }
     0 t$ W$ H+ J4 {& p% E" i
150.     //将数据拷贝到用户空间
     0 C% K( W4 s9 \9 V" E) n2 q( J- C, b
151.     ret = k_linkQueue_getData(&queue, dst);
     
152.     if(ret == 0)
     2 u# p  t# O2 }3 T; w3 I
153.     {
     3 `2 U4 X9 `6 o( I' Q
154.         //printk(KERN_ALERT"\ncopy data to user space failed :%d\n", ret);
     4 B! {& b4 `6 f( f
155.     }
     : X# e+ V/ Z. |' m0 q0 `6 n. f* h
156. out:
     
157.     remove_wait_queue(&wait_queue_head, &wait_queue);//移除等待队列
     6 f* |( G0 k5 r
158.     set_current_state(TASK_RUNNING);//设置当前进程为运行状态
     
159.     return ret;
     
160. }
     
161. 
     ) z) R. M! W: z" j# N  e3 j
162. 
     # Z8 }( B3 a+ ?5 y; O! i
163. static long protocol_ioctl(struct file *file, unsigned int cmd, unsigned long value)
     9 u" ^# y7 h6 ?4 N
164. {
       t/ ]) d! a' n& B- u1 }. p
165.     return 0;
     8 \1 N) Z+ n; S/ W  L1 C
166. }
     3 D, S; e: R0 t4 U3 E
167. /*驱动文件操作结构体，file_operations结构体中的成员函数会在应用程序进行
     4 m7 _! F# s4 e+ {# Z- l
168. open()、release()、ioctl()协同调用时被调用*/
     7 R6 x  [! `/ ]/ b/ y0 E
169. static const struct file_operations protocol_fops =
     
170. {
     
171.   .owner    = THIS_MODULE,
     5 q. s( ]1 j+ c* t- l2 W$ |
172.   .open     = protocol_open,
     , u# O7 f4 E/ E5 v2 A
173.   .release  = protocol_release,
     
174.   .read     = protocol_read,
     0 _; Q2 L( U8 V; L2 p" A
175. //  .write  = protocol_write,
     
176.   .unlocked_ioctl=protocol_ioctl,
     - w- r, U3 }( `. j" T9 p
177. };
     
178. 
     
179. /*设备驱动模块加载函数*/
     " w6 F9 a1 `, m1 \0 R
180. int __init protocol_init(void)
     
181. {
     4 ^; C- Y1 b1 s3 y% T1 H/ h: X3 l
182.     int ret = 0;
     
183.     int result = 0;
     
184.     //申请注册设备号（动态）
     
185.     ret=alloc_chrdev_region(&protocol_dev_no, PROTOCOL_MINOR, 1, DEVICE_NAME);
     * x, M$ A5 i8 M
186.     if(ret < 0)
     " ~: j1 b2 O- {  E. N5 \% h4 s1 v: v
187.     {
     
188.             printk(KERN_EMERG "alloc_chrdev_region failed\n");
     
189.             return 0;
     
190.     }
     
191.     //分配cdev
     
192.     protocol_cdev = cdev_alloc();
     
193.     if(protocol_cdev == NULL)
     
194.     {
     
195.             printk(KERN_EMERG "Cannot alloc cdev\n");
     & |' Q' N/ Q& G, H; E2 G
196.             return 0;
     
197.     }
     4 k$ r# r! h" L* C; U7 Q
198.     //初始化cdev
     
199.     cdev_init(protocol_cdev,&protocol_fops);
     9 J. k) A9 O8 K5 ^
200.     protocol_cdev->owner=THIS_MODULE;
     ; P8 [+ o/ k; [
201.     //注册cdev
       E" Y" Q- `3 Y* [" c
202.     cdev_add(protocol_cdev, protocol_dev_no, 1);
     9 `1 k9 C5 Q5 j2 j" G: }2 P
203.     //创建一个类
     : G$ W$ _2 ?. I1 ]! p
204.     protocol_class = class_create(THIS_MODULE, DEVICE_NAME);
     
205.     //创建设备节点
     0 P% X3 a8 d5 T* E
206.     device_create(protocol_class, NULL, protocol_dev_no, NULL, DEVICE_NAME);
     5 X  R! u6 ?' w1 _. b; n$ Y" ]
207.    
     
208.    
     2 \$ i! E+ v+ r% b
209.     //申请链式循环队列作为缓冲区DSP数据帧的缓冲区
     
210.     k_linkQueue_create(&queue, sizeof(double), 1000, DATA_BLOCK_SIZE);//申请1000个blocksize的队列空间作为帧缓冲区
     
211. 
     
212. //映射ARM的核间通讯寄存器
     ; I' E$ I2 s0 X* g7 }1 h6 x
213.     R_CHIPSIG = ioremap(SOC_SYSCFG_0_REGS + SYSCFG0_CHIPSIG, 4);
     
214.     R_CHIPSIG_CLR = ioremap(SOC_SYSCFG_0_REGS + SYSCFG0_CHIPSIG_CLR, 4);
     ; ?* V. n3 v+ k  S7 o
215.     //将物理地址映射到内核空间
     
216.     mem_base = ioremap(SHARED_BUFFER_ADDR, SHARED_BUFFER_SIZE);
     
217.     //共享内存初始化
     
218.     SHM_ARM_Init((unsigned char *)mem_base);
     + \/ o3 f) @: l8 z6 S, b- Q6 v
219.     /*申请中断*/
     9 b$ r& J) [; ]! U! V, B
220. 
     
221.     result = request_irq(IRQ_DA8XX_CHIPINT0, CHIPINT0_interrupt,IRQF_SHARED,"DSP Signal",&protocol_cdev);
     
222.     if(result != 0)
     " _% x9 q4 O- v, a
223.     {
     & ^- z# D, L  v! g3 t, b* V5 E
224.         if(result == -EINVAL)
     . S$ h2 q0 z7 a8 _+ W5 b& z: x/ ?
225.         {
       a1 ^2 W) Z  X# c6 P$ `; t
226.             printk(KERN_ALERT "irq request err:-EINVAL\n");
     : t5 f$ V  T1 K0 S. r5 x
227.         }
     
228.         else if(result == -EBUSY)
     
229.         {
     
230.             printk(KERN_ALERT "irq request err:--EBUSY\n");
     # \. V$ n5 i5 U! ~3 v0 p
231.         }
       R9 \# n- K9 @) E; O7 h
232.         else
     / l# O% O+ m9 B. {4 U
233.         {
     
234.             printk(KERN_ALERT "irq request err: unknown\n");
     3 a/ ~: ]* D6 B; u1 M* Q
235.         }
     , f" [% M$ C+ Y9 y
236.         return result;
     
237.     }
       O# U. i2 r4 J
238.     return 0;
     
239. }
     : s2 p# }2 \! t) h1 C
240. 
     
241. /*设备驱动模块卸载函数*/
     * S! ?# s5 d' h8 B: g
242. void __exit protocol_exit(void)
     $ D6 ^2 G2 u8 b' ?+ _( w
243. {
     
244.         /*释放中断*/
     
245.     free_irq(IRQ_DA8XX_CHIPINT0, NULL);
     
246.     //释放帧缓冲的内存
     & {7 K; S% G5 a* D' E* K6 H' B
247.     k_linkQueue_release(&queue);
     - [$ V9 v2 c. w+ x# R1 [- [; j
248.     //释放寄存器映射
     $ Z( S, e- k: k% u; P- L
249.     iounmap(R_CHIPSIG);
     
250.     iounmap(R_CHIPSIG_CLR);
     : C6 b' j# K9 |) q" X- S
251.     cdev_del(protocol_cdev);                            //删除cdev
     
252.     unregister_chrdev_region(protocol_dev_no, 1);   //注销设备号
     7 [- O: a3 S! {- k
253.     device_destroy(protocol_class, protocol_dev_no);            //销毁设备节点
     9 r1 g8 q( Q+ ?# y% W- U- i
254.     class_destroy(protocol_class);                      //销毁设备类
     
255.     printk(KERN_ALERT "exit success\n");
     - }3 ?" j, E. F. N- Q2 x
256. 
     
257. }
     9 @/ v* J3 u' f$ L5 C
258. //驱动其他部分省略

复制代码

wwfdzh2012

没有人遇到这个问题吗

human

可以参考一下TL_IPC双核通信例程。
! |" n5 P" `, a! jTL_IPC是广州创龙独立开发的一种双核通讯协议。ARM核上运行Linux程序，DSP核上运行裸机或SYS/BIOS程序。基于TL_IPC的开发是指在两个处理间采用以直接触发中断进行异步事件通知，以直接读写共享内存进行数据交换，并结合创龙提供的c674x_irq_events内核模块（用于ARM端程序捕获由DSP触发的中断）实现双核通信的一种双核开发方式。

wwfdzh2012

human 发表于 2017-4-16 18:19
可以参考一下TL_IPC双核通信例程。
TL_IPC是广州创龙独立开发的一种双核通讯协议。ARM核上运行Linux程序，D ...

@human 您好，请问有c674x_irq_events模块的源码吗，光盘没有附带，只提供模块，这个模块还不能满足我的需求，但是我想参考他的中断实现。谢谢

wwfdzh2012

human 发表于 2017-4-16 18:19
可以参考一下TL_IPC双核通信例程。
. B, H- I9 G$ mTL_IPC是广州创龙独立开发的一种双核通讯协议。ARM核上运行Linux程序，D ...

请问有c674x_irq_events模块的源码吗

wwfdzh2012

问题已解决，驱动没有任何问题，而是DSP端调用了DelayTimerSetup()这个函数导致定时器的状态被改变，从而导致arm端的定时器驱动无法正常工作，而依赖此定时器的其他驱动也就无法正常工作了，这也是双核的弊端吧，两个核共用一些资源，如果一个核在没有告知其他核的情况下改变了一些资源的寄存器就会导致出问题。

wwfdzh2012

至于DSP触发ARM中断两次的问题，这是由于linux的中断机制导致的，可以参考https://e2e.ti.com/support/embedded/linux/f/354/t/234510
解决方法：在dsp端触发后立即将clr标志位置1清除中断线，即可解决触发两次的问题

human

加陈工的QQ2942385389获取资料